Anthropic、OpenAI、Perplexity、LangChain：揭秘LLM智能体的底层构建与12大核心组件-深圳市維司達科技有限公司

本文深入剖析了Anthropic、OpenAI、Perplexity和LangChain等公司构建LLM智能体的底层基础设施，重点介绍了Agent Harness的概念及其重要性。文章详细阐述了Harness工程的三层体系（Prompt、Context、Harness），并详细解析了生产级Harness的12个核心组件，包括编排循环、工具、记忆、上下文管理、状态管理等。同时，文章还探讨了不同公司在Harness设计上的策略和实现方式，强调了Harness对于提升LLM智能体性能的关键作用，并提出了面向未来的Harness设计原则和测试标准。

这是一篇深入拆解：Anthropic、OpenAI、Perplexity 和 LangChain 到底在构建什么的文章。内容覆盖编排循环、工具、记忆、上下文管理，以及把一个无状态 LLM（大语言模型）变成可用 agent（智能体）所需要的一整套基础设施。

你可能已经做过一个聊天机器人。

也许你还接上了一个带少量工具的 ReAct 循环。做 Demo 没问题。

可一旦尝试做生产级系统，就会发现：模型会忘掉三步之前做过什么；工具调用悄悄失败；上下文窗口被垃圾信息塞满。

问题不在你的模型。问题在模型之外的一切。

LangChain 已经用事实证明了这一点：

他们只改了“模型外面的基础设施”（模型没变），就在 TerminalBench 2.0 上从 30 名开外，直接冲到第 5。

还有一个独立研究项目则让 LLM 自己优化这套基础设施，把通过率打到 76.4%，超过了人工设计的系统。

这套基础设施现在有了一个名字：Agent Harness

什么是 Agent Harness？

这个术语在 2026 年初被正式提出，但概念早就存在。Harness 指的是包裹 LLM 的完整软件基础设施：编排循环、工具、记忆、上下文管理、状态持久化、错误处理和安全护栏。Anthropic 的 Claude Code 文档说得很直接：SDK 是“驱动 Claude Code 的 agent harness”。OpenAI 的 Codex 团队也使用同样的说法，明确把“agent”和“harness”这两个词等同起来，用来指代让 LLM 变得有用的非模型基础设施。

这里有一个很容易让人混淆的区别。“Agent”是涌现出来的行为：用户与之交互的那个目标导向、会使用工具、能自我纠错的实体。Harness 是产生这种行为的机器。别人说“我做了一个 agent”时，真实含义是：他做了一套 harness，然后把它指向某个模型。

Beren Millidge 在 2023 年的文章《Scaffolded LLMs as Natural Language Computers》里把这个类比讲得非常精确：一个裸 LLM 就像一颗没有 RAM、没有磁盘、没有 I/O 的 CPU。上下文窗口充当 RAM（快但有限）。外部数据库充当磁盘存储（大但慢）。工具集成像设备驱动。Harness 就是操作系统。正如 Millidge 所写：“我们重新发明了冯·诺依曼架构”，因为对于任何计算系统来说，这都是一种非常自然的抽象。

三层工程

围绕模型的工程体系，可以分为三个同心层级：

• Prompt engineering（提示词工程）：打磨模型接收的指令。
• Context engineering（上下文工程）：管理模型看到什么，以及什么时候看到。
• Harness engineering（harness 工程）：包含前两者，并进一步覆盖整个应用基础设施：工具编排、状态持久化、错误恢复、验证循环、安全执行和生命周期管理。

Harness 不是提示词外面的一层壳，而是让 Agent 能思考、行动、纠错和持续完成任务的整套系统**。**

生产级 Harness 的 12 个组件

综合 Anthropic、OpenAI、LangChain 以及更广泛的实践者社区，一个生产级 agent harness 有 12 个不同组件。我们逐一来看。

1. 编排循环

这是 Agent 的心跳。典型模式是 Thought-Action-Observation，也就是 ReAct 循环：先组装 prompt，再调用模型，再解析输出，再执行工具，再把结果喂回模型，如此循环，直到任务完成。

表面上看，这只是一个 while 循环。但真正复杂的部分，不在循环本身，而在循环管理的所有东西：上下文、工具、状态、错误、安全和终止条件。

2. 工具

工具是 agent 的手。工具通常以 schema 的形式暴露给模型，包括名称、描述、参数类型等，让模型知道自己能用什么。工具层负责注册、schema 校验、参数抽取、沙箱执行、结果捕获，并把结果格式化成 LLM 能读懂的观察结果。

Claude Code 提供六类工具：文件操作、搜索、执行、网页访问、代码智能和子 agent 生成。OpenAI 的 Agents SDK 支持 function tools（通过@function_tool）、托管工具（WebSearch、CodeInterpreter、FileSearch）以及 MCP server tools。

3. 记忆

记忆跨多个时间尺度运作。短期记忆是单次会话中的对话历史。长期记忆跨会话持久化：Anthropic 使用项目里的 CLAUDE.md 文件和自动生成的 MEMORY.md 文件；LangGraph 使用按命名空间组织的 JSON Stores；OpenAI 支持由 SQLite 或 Redis 承载的 Sessions。

Claude Code 实现了三层层级：轻量索引（每条约 150 个字符，始终加载）、按需拉取的详细主题文件，以及只有搜索时才访问的原始 transcript。一个关键设计原则是：记忆只能当线索，不能当事实。

4. 上下文管理

这是许多 agent 静默失败的地方。核心问题是 context rot（上下文腐化）：当关键信息落在上下文窗口中间位置时，模型性能会下降 30% 以上（Chroma 的研究，以及 Stanford “Lost in the Middle” 的发现都支持这一点）。即使是百万 token 的窗口，随着上下文变长，指令遵循能力也会退化。

生产策略包括：

• 压缩（Compaction）：接近限制时总结对话历史（Claude Code 会保留架构决策和未解决 bug，同时丢弃冗余工具输出）
• 观察结果遮蔽（Observation masking）：JetBrains 的 Junie 会隐藏旧工具输出，但保留工具调用可见
• 即时检索（Just-in-time retrieval）：只维护轻量级标识符，在需要时动态加载数据（Claude Code 使用 grep、glob、head、tail，而不是加载完整文件）
• 子 agent 委派（Sub-agent delegation）：每个子 agent 可以充分探索，但只返回 1,000 到 2,000 token 的浓缩摘要

Anthropic 的上下文工程指南把目标说得很清楚：找到尽可能小、但信号密度最高的一组 token，让达成期望结果的概率最大化。

5. Prompt 构造

这一步负责组装模型在每一轮真正看到的内容。通常包括：系统提示词、工具定义、记忆文件、对话历史和当前用户消息。

OpenAI 的 Codex 使用严格的优先级栈：系统指令最高，开发者指令其次，用户指令再次，然后才是历史上下文。

6. 输出解析

现代 harness 依赖原生 tool calling：模型返回结构化的tool_calls对象，而不是必须从自由文本里解析。Harness 会检查：有工具调用吗？有就执行并继续循环。没有工具调用？那就是最终答案。

对于结构化输出，OpenAI 和 LangChain 都支持通过 Pydantic 模型做 schema 约束响应。像 RetryWithErrorOutputParser 这样的旧方案仍然可用于边缘场景：把原始 prompt、失败的模型输出，以及解析错误一起喂回给模型，让它重试。

7. 状态管理

LangGraph 将状态建模为带类型的字典，这些状态会在图节点之间流动，并通过 reducer 合并各节点产生的更新。

它会在 super-step 边界进行 checkpoint，因此任务中断后可以恢复，也支持类似“时间旅行”的调试方式。

OpenAI 提供了四种互斥的状态管理策略：应用层内存、SDK sessions、服务端 Conversations API，或者更轻量的 previous_response_id 链式衔接

8. 错误处理

为什么这重要？一个 10 步流程，即使每一步成功率都是 99%，端到端成功率也只有约 90.4%。错误会快速累积。

LangGraph 区分四类错误：临时错误（退避重试）、LLM 可恢复错误（把错误作为 ToolMessage 返回，让模型调整）、用户可修复错误（中断等待人工输入）、意外错误（向上抛出用于调试）。

Anthropic 会在工具 handler 内捕获失败，并把它们作为 error results 返回，保持循环继续运行。

Stripe 的生产级 harness 把重试次数上限设为 2。

9. 护栏与安全

OpenAI 的 SDK 实现三层护栏：输入护栏（在第一个 agent 上运行）、输出护栏（在最终输出上运行）和工具护栏（在每次工具调用上运行）。其中还有一种 “tripwire”（触发线）机制会在触发时立刻停止 agent。

Anthropic 在架构上把权限执行与模型推理解耦。

模型负责决定“我想尝试做什么”；工具系统负责决定“这件事到底允不允许做”。

Claude Code 会把大约 40 个独立的工具能力分别做权限控制，并分成三个阶段：项目加载时建立信任关系、每次工具调用前做权限检查，以及对高风险操作要求用户显式确认。

10. 验证循环

这是区分玩具 demo 和生产 agent 的关键。Anthropic 推荐三种方法：基于规则的反馈（测试、linter、类型检查器）、视觉反馈（UI 任务用 Playwright 截图）以及 LLM-as-judge（用单独的子 agent 评估输出）。

Claude Code 的创造者 Boris Cherny 提到：给模型一种验证自己工作的方式，可以让质量提升 2 到 3 倍。

11. 子 Agent 编排

Claude Code 支持三种执行模型：Fork（对子 Agent 提供一份与父上下文完全一致的字节级拷贝）、Teammate（让子 Agent 运行在独立的终端面板中，并通过基于文件的“邮箱”机制进行通信。）和 Worktree（每个 agent 拥有自己的 git worktree 和隔离分支）。

OpenAI 的 SDK 支持 agents-as-tools（把 Agent 当作工具来调用，由某个专家 Agent 处理边界明确的子任务）和 handoffs（把控制权完整移交给另一个专家 Agent，由它接管后续流程）。

LangGraph 把子 agent 实现为嵌套状态图。

循环如何运转：一步步走一遍

现在你已经了解这些组件了，我们来追踪它们如何在单次循环中协同工作。

Step 1（Prompt 组装）：Harness 构造完整输入，包括：系统提示词、工具 schema、记忆文件、对话历史，以及当前用户消息。重要上下文会被放在 prompt 的开头和结尾位置，这是为了应对 “Lost in the Middle” 问题。

Step 2（LLM 推理）：组装好的 prompt 被发送到模型 API。模型生成输出 token，可能是文本、工具调用请求，或者两者都有。

Step 3（输出分类）：如果模型只生成文本、没有工具调用，循环就结束。如果模型请求调用工具，就进入执行阶段。如果请求的是 handoff，则更新当前 Agent，并重新开始循环。

Step 4（工具执行）：对于每一次工具调用，Harness 会校验参数、检查权限、在沙箱环境中执行，并捕获结果。只读操作可以并发执行；会修改状态的操作则要串行执行。

Step 5（结果封装）：工具结果会被格式化成 LLM 能读懂的消息。错误会被捕获，并作为错误结果返回给模型，这样模型就可以自我修正。

Step 6（上下文更新）：结果会被追加到对话历史中。如果接近上下文窗口上限，Harness 会触发压缩。

Step 7（循环）：回到 Step 1。重复，直到满足终止条件。

终止条件是分层的：模型生成没有工具调用的响应、超过最大轮次、token 预算耗尽、安全护栏的 tripwire 被触发；用户中断；或者返回了安全拒答。

一个简单问题可能只需要 1 到 2 轮。一个复杂重构任务可能会跨许多轮、串起几十次工具调用。

对于跨多个上下文窗口的长任务，Anthropic 开发了两阶段 “Ralph Loop” 模式：第一阶段由 Initializer Agent 建立环境，包括初始化脚本、进度文件、功能列表和初始 git commit，之后每个会话中的 Coding Agent 都会读取 git logs 和进度文件来定位自己，选择最高优先级的未完成功能，推进工作，提交，并写下摘要。

这里的关键是：文件系统承担了跨上下文窗口的连续性。

真实框架如何实现这种模式

Anthropic 的 Claude Agent SDK 通过一个 query() 函数暴露 harness：这个函数会创建 agentic loop，并返回一个异步迭代器，用来流式输出消息。它的运行时是一个 “dumb loop”：所有智能都在模型里，运行时只负责循环调度。Claude Code 使用的是 Gather-Act-Verify 循环：

先收集上下文，比如搜索文件、阅读代码；
再采取行动，比如编辑文件、运行命令；
最后验证结果，比如跑测试、检查输出；
然后不断重复。

OpenAI 的 Agents SDK 通过 Runner 类实现 harness，提供 async、sync 和 streamed 三种模式。SDK 是 “code-first” 的：工作流逻辑用原生 Python 表达，而不是图 DSL。Codex harness 在此基础上扩展出三层架构：Codex Core（agent 代码 + runtime）、App Server（双向 JSON-RPC API）和客户端入口（CLI、VS Code、web app）。所有入口共享同一个 harness，这也解释了为什么 “Codex 模型在 Codex 自己的产品界面里，比在普通聊天窗口里感觉更好用”。

LangGraph 把 harness 建模为显式状态图。他有两个节点（llm_call和tool_node）通过条件边连接：如果存在工具调用，就路由到tool_node；如果没有，就路由到 END。

LangGraph 是从 LangChain 的 AgentExecutor 演进而来，后者在 v0.2 被弃用，因为它难以扩展且缺少多 agent 支持。

LangChain 的 Deep Agents 明确使用 “agent harness” 这个术语：包含内置工具、规划能力（write_todos 工具）、用于上下文管理的文件系统、子 Agent 派生，以及持久化记忆。

CrewAI 实现基于角色的多 agent 架构：Agent（包裹 LLM 的 harness，由 role、goal、backstory 和 tools 定义）、Task（工作单元）和 Crew（agent 集合）。CrewAI 的 Flows 层又添加了“确定性主干，在关键位置加入智能”的路径：它负责路由和校验，而 Crews 负责自主协作。

AutoGen（正在演进为 Microsoft Agent Framework）开创了对话驱动的编排方式。它的三层架构（Core、AgentChat、Extensions）支持五种编排模式：顺序执行、并发执行（fan-out/fan-in）、群聊、handoff（当前 Agent 把任务控制权“交接”给另一个更适合的 Agent）和 magentic（由一个 manager agent 维护动态任务账本，并协调多个专家 Agent）。

脚手架隐喻

脚手架这个隐喻不是装饰性的说法，而是非常准确。

建筑脚手架是一种临时基础设施，它让工人能够建造原本够不到的结构。脚手架本身并不负责施工，但如果没有它，工人就到不了更高的楼层。

关键洞察是：

建筑完成后，脚手架会被拆掉。

随着模型进步，harness 复杂度应该下降。Manus 在六个月内被重写五次，每次重写都删除复杂度。复杂工具定义变成通用 shell 执行。“管理 agent”变成简单的结构化 handoff。

这也引出了一个共同演化原则：

现在的模型会在特定 harness 参与的环境中进行后训练。Claude Code 的模型学会了如何使用它训练时绑定的那套特定 harness。也正因为这种紧耦合，改变工具实现方式反而可能导致性能下降。

对于 harness 设计，有一个面向未来的测试标准：

衡量 harness 设计是否面向未来的测试是：当模型更强时，性能是否能随之提升，而不需要增加 harness 复杂度。

Harness 的七个决策

每位 harness 架构师都要面对七个选择：

1. 单 agent vs. 多 agent
Anthropic 和 OpenAI 都说：先把单个 agent 做到极致。多 agent 系统会增加开销（路由需要额外 LLM 调用，handoff 会丢失上下文）。只有当工具过载超过约10 个重叠工具，或任务域明确分离时，才拆分。
1. ReAct vs. plan-and-execute
ReAct 在每一步交织推理与行动（灵活但单步成本更高）。
Plan-and-execute 把规划与执行分离。LLMCompiler 报告称，相比顺序执行ReAct 有3.6 倍加速。
1. 上下文窗口管理策略
生产系统里常见的五种做法包括：
时间驱动的上下文清理、对话总结、观察结果遮蔽、结构化记笔记和子 agent 委派。
ACON 研究显示，通过优先保留推理轨迹，而不是原始工具输出，可以减少 26% 到 54% 的 token，同时保持 95% 以上的准确率。
1. 验证循环设计
计算型验证（测试、linter）提供确定性真值。
推断型验证（LLM-as-judge）能捕捉语义问题，但会增加延迟。
Martin Fowler 的 Thoughtworks 团队把这个问题分成两类：
guides：前馈机制，在行动前引导和约束
sensors：反馈机制，在行动后观察和纠偏
1. 权限与安全架构
宽松（快但风险高，自动批准大多数动作）
严格（安全但慢，每个动作都要求批准）之间取舍。
选择取决于部署环境。
1. 工具作用域策略
工具越多，通常性能反而越差。
Vercel 从 v0 中移除了 80% 的工具，结果反而更好。
Claude Code 通过 lazy loading 实现 95% 的上下文减少。
原则是：只暴露当前步骤所需的最小工具集。
1. Harness 厚度
多少逻辑放在 harness 中，多少交给模型。
Anthropic 更倾向于押注薄 harness 和模型能力提升。
图式框架则更倾向于显式控制。
随着新模型版本逐渐内化规划能力，Anthropic 也会定期从 Claude Code 的 harness 中删除一些显式规划步骤

Harness 本身就是产品

即使两个产品使用完全相同的模型，也可能仅仅因为 harness 设计不同，表现出截然不同的性能差异。TerminalBench 的证据很清楚：只改变 harness，就能让 agent 排名上升 20 多位。

**Harness 不是一个已经被解决的问题，也不是一个可以随便替换的通用商品层。**真正困难的工程都在这里：管理上下文，把它当作稀缺资源来使用;设计验证循环，在错误不断累积之前把它们拦下来;构建记忆系统，让 Agent 拥有连续性，同时避免幻觉;以及做出架构取舍：到底要构建多少脚手架，又要把多少能力留给模型自己完成。

随着模型能力提升，整个领域正在走向更薄的 harness。

但 harness 本身不会消失。

即使最强的模型，也仍然需要某种系统来管理上下文窗口、执行工具调用、持久化状态，并验证自己的工作。

所以下一次你的 Agent 失败时，不要急着责怪模型。

先看看 harness。

最后

对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？

答案只有一个：人工智能（尤其是大模型方向）

当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。

再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。

如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！

下面是我整理的大模型学习资源，希望能帮到你。

👇👇扫码免费领取全部内容👇👇

最后

1、大模型学习路线

2、从0到进阶大模型学习视频教程

从入门到进阶这里都有，跟着老师学习事半功倍。

3、入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）

4、AI大模型最新行业报告

2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。

5、面试试题/经验

【大厂 AI 岗位面经分享（107 道）】

【AI 大模型面试真题（102 道）】

【LLMs 面试真题（97 道）】

6、大模型项目实战&配套源码

适用人群

四阶段学习规划（共90天，可落地执行）

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

大模型 AI 能干什么？
大模型是怎样获得「智能」的？
用好 AI 的核心心法
大模型应用业务架构
大模型应用技术架构
代码示例：向 GPT-3.5 灌入新知识
提示工程的意义和核心思想
Prompt 典型构成
指令调优方法论
思维链和思维树
Prompt 攻击和防范
…

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

为什么要做 RAG
搭建一个简单的 ChatPDF
检索的基础概念
什么是向量表示（Embeddings）
向量数据库与向量检索
基于向量检索的 RAG
搭建 RAG 系统的扩展知识
混合检索与 RAG-Fusion 简介
向量模型本地部署
…

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

为什么要做 RAG
什么是模型
什么是模型训练
求解器 & 损失函数简介
小实验2：手写一个简单的神经网络并训练它
什么是训练/预训练/微调/轻量化微调
Transformer结构简介
轻量化微调
实验数据集的构建
…

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

硬件选型
带你了解全球大模型
使用国产大模型服务
搭建 OpenAI 代理
热身：基于阿里云 PAI 部署 Stable Diffusion
在本地计算机运行大模型
大模型的私有化部署
基于 vLLM 部署大模型
案例：如何优雅地在阿里云私有部署开源大模型
部署一套开源 LLM 项目
内容安全
互联网信息服务算法备案
…
👇👇扫码免费领取全部内容👇👇

3、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】