AI大模型并无真正记忆,而是通过拼接完整对话文本实现连贯应答。模型接收的输入结构包括:System Prompt(人格设定)、Developer Prompt(工作说明)、历史对话和用户输入。模型通过"上下文窗口"限制可处理内容长度,使用特殊标记区分不同角色,并以接龙方式生成回答,包括可见回答和不可见的思维链过程。这一机制揭示了AI对话背后的底层逻辑。
你以为 AI 是靠 “记忆” 和你聊天?
其实它每一轮都在重读完整对话文本。
从系统人格设定、开发者工作指令,到历史对话与你的输入,模型看到的是一份完整拼接的 “对话剧本”。
本文带你拆解 AI 接收的输入结构,揭开它连贯应答的底层逻辑。
上节我们说到,模型厂商会在用户输入前加上一段 System Prompt,告诉模型“你是谁”“要怎么说话”。除了 System Prompt 外,模型在生成回答时,还会看到什么呢?
当你在和AI聊天时,模型真正“看到”的输入,到底长什么样?
我们先来想一个问题,多轮对话中,模型真的记得你吗?
很多人第一次和AI连续聊天时都会惊叹:“它居然记得我上次说过的话!”其实——它并不是真的“记得”。它能回答得前后连贯的机制其实是一个“非常笨”的办法。
系统会在后台,把之前所有历史对话重新拼接成一段完整文本,重新拼接在你这次的输入前面,再一次性发给模型。多轮对话拼接是模型之外的系统层完成的,不是模型本身的能力。
也就是说,模型不是记住你了。而是每一轮对话,模型都是“重新阅读一遍之前所有内容”后,再继续生成。模型并不知道这是第几轮,它只是看见了整段文字,从最后一个字,继续“接下去”。
举个例子,如果你和 AI 聊了三轮,那么模型的输入可能长成这样:
模型看到的是这整个文本。
它不是在“记忆”,而是在重新阅读整场对话的文字记录。
从技术上讲,大模型没有记忆,它只是一次性读取一段文字。每次能看多少文字,就是常听到的“上下文窗口(Context Window)大小”。
- GPT-4 可以看 128K token(大约一本中篇小说)
- Claude 3.5 可以看 200K token(相当于一本《哈利·波特》)
一旦超出这个长度,模型就“看不见”更早的内容了。它能看见的范围,就是它能记忆的范围。
上下文窗口大小,就是AI模型所谓“记忆”的范围。
所以,在“你当前输入”前,AI模型看到的内容,还加上了所有历史输入和模型回答。
除此之外呢,还有一个被加入的内容——开发者在应用中设置的指令
除了 System Prompt,还有一层Developer Prompt(也叫应用层Prompt 或中间层 Prompt)。
这一层通常由应用开发者设置,用来让模型知道自己“该干什么”。它不是让模型“做人”,而是告诉模型“怎么做事”。
常见内容包括:
- 模型在当前应用中的角色:“你是一名英语老师”“你是客服机器人”
- 输出格式:“回答请使用表格”“每段用 3 句话总结”
- 推理流程:“先分析问题→再给答案→最后列出改进建议”
- 外部接口说明:“需要时可以调用知识库 / 搜索引擎 / 工具函数”
各个Agent开发者、模型应用开发者,都是在这一层做工作。为大模型加入合适的工作说明。
你可以这样理解:
- System Prompt 是“人格设定”
- Developer Prompt 是“工作说明书”
- User Prompt 是“你现在要做的具体任务”
三者层层叠加,就像舞台剧的‘导演+编剧+演员’共同构成一场表演。
System Prompt、Developer Prompt、历史对话后,才轮到我们输入的那一句话。这部分看似最简单,其实影响最大——因为它是模型生成时“最近看到的内容”。
所以每次输入,最终模型看到内容是这样的:
- System Prompt(人格设定)
- Developer Prompt(工作说明)
- Conversation_History(历史对话)
- User:帮我总结下主题(当前问题)
- Assistant:(现在轮到模型说话了)
模型看到这里,光标停在“Assistant:”后面。
在主流 API(如 OpenAI、Anthropic)的接口中,这个拼接顺序是统一的。从模型的视角,它看到的只是一个长长的“对话剧本”。
而在Assistant后,就轮到它来接下一个字了。
于是模型就从 “Assistant:” 后开始生成回答
我们实际来看一个例子,假设我们在一个中文学习应用中,和AI模型进行多轮对话。前两轮你已经请它帮忙修改作文,这一轮你说:“帮我改一下这句话:他昨天去图书馆看书,我今天去。”
这是第 3 轮对话,那模型在第三轮中“看到”的完整输入,就是下面这样
模型的回答
你会注意到那几个特殊标记:、、、它们不是装饰。这些符号能帮助模型“区分说话者角色”的关键线索(Role Token),减少误判。
这些标签告诉模型:
- 哪部分是开始和结束 、。
- 哪部分是用户的提问,user
- 哪部分是它自己上一次的回答;assistant
- 哪部分是系统的指令system
如果去掉这些标签,模型就可能自言自语、答非所问,甚至在对话中“失忆”。
注意:
是系统在输入模型时自动加上去的,用来明确标记开始输入的。是模型生成的,属于AI生成内容一部分,代表AI认为到这生成结束了。
到这里为止,模型“看到”的内容还都是我们显式提供的,但还有一类隐藏的信息——模型的“深度思考”(Deep Thinking),也就是它的中间推理文本。
这部分并不是你输入的,而是模型在生成答案时自动展开的内部推理过程,在技术上被称为Chain of Thought(思维链)。
有些研究模型会把它显示出来,像 Claude 的“思考模式预览”,但很多产品中,这部分都是不可见的。
所以最终结构是这样
System Prompt(人格设定)
Developer Prompt(工作说明)
Conversation_History(历史对话)
User:帮我总结下主题(当前问题)
Assistant:
…… (深度思考内容,一般用户不可见)
XXXX(模型的正式回答,用户可见)
也就是模型输出被分成了两个部分。
当然模型并不是真的“在思考”,它只是按照我们教的方式,模拟“思考的样子”。think的内容也是循环文字接龙,一个个字接出来的。 每次接下一个字时,都是看到以上全部内容后,多接出下一个字。
也就是说,即便是隐藏的思维链,对模型来说也是普通文字(token),同样是接龙,没有差异。只是不会显示出来给用户看而已。具体think的能力怎么产生的,可以看之前的章节。
到这里我们已经知道模型看到了什么——System Prompt、Developer Prompt、历史对话、用户输入、深度思考。
那么问题来了:这些输入,在模型接龙机制里,有区别吗?
本节内容先到这里,下节我们再来看看大模型看到的完整输入到底是怎样的?
如何学习AI大模型?
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
这份完整版的大模型 AI 学习和面试资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段:从大模型系统设计入手,讲解大模型的主要方法;
第二阶段:在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段:大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段:大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段:大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段:以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段:以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓