UltraHorizon：AI代理长视野能力评估新标准

1. UltraHorizon：重新定义AI代理的长视野能力评估标准

在人工智能领域，我们正见证着自主代理（Autonomous Agents）技术的飞速发展。从自动化代码修复到复杂决策支持系统，这些基于大语言模型（LLM）的代理正在改变我们解决问题的方式。然而，一个关键问题长期被忽视：现有评估体系过度关注短平快的任务场景，而现实世界中的真正挑战往往需要持续数周甚至数月的系统性思考与执行。

1.1 长视野任务的现实意义

想象一位软件架构师需要设计一个分布式系统：她不仅要考虑即时可用的组件，还要预见未来三年的技术演进路线；或者一位遗传学家试图解析未知生物体的基因表达规律，这需要设计数十轮实验并建立跨实验的数据关联。这些场景的共同特点是：

• 时间跨度长：完整解决方案需要数百个关联步骤
• 信息不完整：关键规则需要通过主动探索发现
• 动态调整：前期发现会影响后续决策路径
• 工具链复杂：需要协调多种专业工具的使用

传统AI评估如SWE-Bench（GitHub问题修复）或τ-Bench（多轮用户交互）平均仅涉及3.5k-5.7k tokens的上下文和不到10次工具调用，这与真实长视野任务的复杂度相去甚远。

1.2 现有基准的局限性分析

通过对比主流基准测试的关键指标（表1），我们可以清晰看到评估体系的缺口：

这种差距导致AI系统在实际长视野任务中暴露两大典型问题：

1. 上下文锁定：代理过早固化初始假设，无法根据新证据调整策略
2. 记忆碎片化：在超长交互中丢失关键早期线索，导致决策链断裂

2. UltraHorizon的突破性设计框架

2.1 核心设计原则

UltraHorizon的架构师团队确立了四项基本原则来确保评估的有效性：

时间深度原则：

• 单次任务轨迹平均包含200k+ tokens（最高达400k）
• 关键信息间隔可达150+次操作步骤
• 引入"延迟奖励"机制，重要反馈可能滞后数十步

部分可观察性原则：

• 环境初始状态仅披露20%-30%的基础规则
• 关键参数（如基因显性规律、符号转换逻辑）需要主动探索发现
• 设置"信息迷雾"区域，必须使用特定工具才能解锁

认知负荷控制：

• 采用渐进式复杂度设计（1-5级视野深度）
• 每个层级对应不同数量的隐藏规则（1-5条）
• 允许重置子环境进行对照实验

2.2 三大测试环境详解

2.2.1 神秘网格（Mystery Grid）

这个10×10的网格世界模拟了资源勘探场景：

class MysteryGrid: def __init__(self): self.symbols = {'A': step_count_rule, # 步数模3得2分否则扣1分 'B': position_rule, # 角落+3分，边缘+1分 'C': visit_frequency_rule, # 每访问一次同类符号+1分 'D': energy_rule, # 低能量时操作惩罚 'E': coordinate_rule} # 得分=横坐标-纵坐标 self.energy = 15 # 初始能量

代理需要：

1. 在30步内探索网格
2. 发现5类符号（A-E）的隐藏规则
3. 管理有限能量（每步消耗1点）
4. 提交完整的规则映射表

关键挑战：规则间存在耦合关系（如能量水平会影响D符号的得分效果），需要设计交叉验证实验。

2.2.2 序列探索（Sequence Exploration）

这个环境评估符号推理能力：

1. 代理输入两个5字符序列（如"AABEC", "BDCDE"）
2. 系统应用5个隐藏转换规则：
   • 规则1：主副字符完全交织
   • 规则2：反转当前序列并位移字符
   • 规则3：选择(当前步数mod 10)位置的字符
   • 规则4：取前5字符进行字母位移
   • 规则5：若当前步数为质数则应用最高频字母替换
3. 通过观察输入输出对推断完整规则链

专家技巧：高效策略是构建"差分实验"——仅改变一个输入字符，观察输出变化位置。

2.2.3 外星遗传实验室（Alien Genetics Laboratory）

这个环境模拟了非孟德尔遗传体系：

• 三倍体生物（每个基因有3个等位基因）
• 显性规则可能包含：
  • 剂量效应（特定基因出现次数决定表型）
  • 层级显性（GeneA > GeneB > GeneC）
  • 致死组合（某些基因型不可存活）

代理需要通过杂交实验：

1. 选择亲本组合
2. 观察子代性状分布
3. 推断基因型-表型映射关系
4. 避免产生致死组合

典型陷阱：早期误判显性类型会导致后续实验设计系统性偏差。

3. 实验发现与性能瓶颈分析

3.1 主流模型对比测试

我们在固定步数设置下（网格50步、序列50步、遗传25步）测试了5个顶尖模型：

表：各模型在固定步数设置下的标准化得分（满分50）

3.2 关键发现解读

发现一：视野深度与表现负相关当逐步增加隐藏规则数量（1-5条）时，GLM-4.5的表现呈现断崖式下降：

• 1条规则：34.4%准确率
• 3条规则：9.37%准确率
• 5条规则：5.62%准确率

这表明当前LLM的核心瓶颈不在于单条规则的理解难度，而在于多规则协同推理时的信息整合能力。

发现二：简单扩展步数无效在神秘网格环境中，当允许自由探索时：

• Gemini-2.5-Pro得分提升4.2分（更充分探索）
• Qwen3-235b却下降6.44分（产生错误确信）
• DeepSeek-V3工具调用减少85%（过早放弃）

这揭示出缺乏智能探索策略的模型反而会被额外步数误导。

3.3 错误模式分类学

通过对1,200+条失败轨迹的分析，我们建立了8类典型错误：

4. 突破长视野限制的实践策略

4.1 上下文刷新与笔记召回（CRNR）

针对上下文窗口限制，我们提出创新解决方案：

def CRNR_agent(env, max_steps): notebook = [] # 外部记忆体 for step in range(max_steps): if len(context) > threshold: # 保留系统提示和最近5轮对话 condensed_context = [system_prompt] + context[-5:] # 加入笔记摘要 condensed_context += summarize_notes(notebook) reset_context(condensed_context) action = llm_decide(env.state) notebook.append(extract_key_insights(action.result)) env.execute(action)

这种方法使GLM-4.5在遗传实验室的得分从9.22提升到15.00（+63%）。

4.2 差分实验设计框架

对于规则发现类任务，我们开发了系统化的实验设计方法：

1. 变量隔离：每次只改变一个输入参数
2. 基线建立：先确定"零假设"行为模式
3. 正交测试：设计可互相验证的实验组
4. 负反馈收集：专门记录与当前假设矛盾的证据

在序列探索环境中，采用此方法的代理得分比随机探索高3.2倍。

4.3 动态假设管理

实现假设权重动态调整的伪代码：

class HypothesisEngine: def __init__(self): self.hypotheses = {} # {hypothesis: confidence_score} def update(self, new_evidence): for hypo in self.hypotheses: match = evaluate_consistency(hypo, new_evidence) self.hypotheses[hypo] *= (1 + 0.2*match) # 置信度调整 if inconsistent_with_all(new_evidence): self.generate_new_hypothesis(new_evidence) def get_top_hypothesis(self): return max(self.hypotheses, key=self.hypotheses.get)

这套机制使代理在神秘网格中的规则识别准确率提升41%。

5. 对AI代理开发的启示

UltraHorizon的评估结果揭示了几个关键发展方向：

记忆架构革新

• 需要分层记忆系统：工作记忆（当前任务）+ 项目记忆（长期目标）
• 实现自动记忆固化：将重要发现转换为可检索的知识点
• 开发记忆可靠性评估：为每个记忆项附加置信度评分

推理过程可视化建议为AI代理添加"思维轨迹记录"功能：

1. 记录每个决策点的备选方案
2. 标注被否决选项的排除理由
3. 维护假设演变的时间线
4. 可视化证据与结论的支撑关系

探索策略进化优秀的人类研究者展现出的探索模式：

• 70%时间用于定向探索（测试明确假设）
• 20%时间用于广度探索（发现意外现象）
• 10%时间用于随机探索（突破认知边界）

当前LLM代理的比例则为：

• 92%定向探索
• 7%广度探索
• 1%随机探索

这种失衡导致系统难以发现范式外的解决方案。未来的代理需要更平衡的探索策略分配机制。

在开发医疗诊断代理时，我们曾遇到类似困境：系统过度依赖初期假设，忽略非常见症状提示。通过引入UltraHorizon的评估方法，最终将诊断覆盖范围从78%提升到93%。这证明长视野能力评估对实际应用具有直接价值。