大模型入门必藏：Youtu-LLM解锁小模型的‘原生Agent‘潜能，1.96B也能做复杂任务！-深圳市維司達科技有限公司

Youtu-LLM是1.96B参数的小型大语言模型，通过创新的预训练方法使小模型具备原生Agent能力。文章详细阐述了其分词器设计、稠密MLA架构、预训练数据工程（包括通用数据、Agent轨迹、数学轨迹、代码轨迹等）以及多阶段预训练流程。实验表明，Youtu-LLM在智能体基准测试上达到同尺寸模型最优效果，甚至在某些方面可与更大模型相媲美，为轻量级大模型实现复杂Agent能力提供了新思路。

动机

小尺寸（如 2B 级别）LLM 通常难以完成 Agent 任务，一方面是因为这类任务并非简单的一次性问答，而是需要完成任务拆解、工具理解、工具选择、参数填充、反思优化等一系列动作，难度较大；另一方面是很多系统把Agent能力作为“补丁”在后训练或外部框架上引入，这导致模型很可能仅仅学会了浅层的“模式”而忽略深层的“知识”

于是作者提出 Youtu-LLM，这是一个从零开始预训练的 1.96B 小模型，它把 agent 导向的信号及早、系统地注入，成为具备“原生 Agent”能力的小尺寸模型。为了提供预训练所需的大规模语料，作者也设计了一系列的相关数据构造流程

论文标题
Youtu-LLM: Unlocking the Native Agentic Potential for Lightweight Large Language Models
论文地址
https://arxiv.org/pdf/2512.24618
代码/模型
https://github.com/TencentCloudADP/youtu-tip/youtu-llm
https://huggingface.co/collections/tencent/youtu

模型架构

分词器设计

为了应对相关场景下强烈的推理需求，Youtu-LLM 基于英伟达提出的 SuperBPE 设计分词器，其核心原理是允许把跨越空格的多个字符视为一个 token，从而更高效地处理固定搭配表述（e.g, by the way）。再通过两阶段训练的方式，依次提高分词模型对普通子词、跨空格“超词”的理解能力

在此基础上，作者采用了以下措施来进一步改善分词效果：

将中文字符、日语假名、韩文，以及中日韩文独有的标点符号归位独立的四类 token，不允许互相或与其他文本合并
英文使用 GPT-4o 的预分词规则（比如允许 's 等后缀）
数字仅保留 0-9 这十个 token
以 o200k 中文词表为基础，过滤筛选出 101k 个基础词
补充某些领域特异的中文术语，平衡领域影响
增加针对代码、数学、技术内容的专用 token

实验证明，由此构建的分词器达到了更大的文本压缩率，与 Qwen 相比，在通用预训练数据上+5%，推理数据上+10%；并且在下游任务上也获得了更好的效果

稠密 MLA

考虑到端侧场景下 MoE 与 Dense 架构相比并未展现显著的速度优势（因为它需要更频繁的输入输出操作），Youtu-LLM 选择了稠密架构，同时使用 MLA 来压缩 KV-Cache，提高小参数模型的表达能力。

小尺寸模型上 GQA 与 MLA 效果对比

主流小尺寸模型的架构对比

预训练数据工程

通用预训练数据

作者收集了包含高质量网页、百科知识、STEM语料（数学物理化学等理工科资料）、源代码在内的基础语料，然后额外合成了针对 STEM、源码的解释文档，再挑选其中高质量数据做上采样，最终得到了 10.64T token 的通用预训练数据

为了解决质量不均和领域覆盖偏差，手动制定了一套质量评估与领域划分标准（编程、数学、医疗、金融等 46 个子领域），让 DeepSeek R1 模型来打标，并人工抽检（只有当模型标签与人工标注一致性超过 95% 时才纳入训练集）。这一过程需要迭代多次，为了减轻人工标注负担，作者还基于 Qwen3-1.7B 训练了一个分类&评分模型，用于代替人工做全量数据筛选。最后再基于各种启发式方法对语料做进一步过滤，包括重复检测、毒性分析等

Agentic 轨迹

带思维链带轨迹数据很好采集，但作者认为普通的 Agent 轨迹数据中存在大量冗余思考和重复表达，可能会损害逻辑连贯性与自然语言流畅性。于是作者将原始推理数据分解、重构为“Agentic-CoT”格式，即按照 Analysis → Plan → Action → Reflection → Summary 组织的结构化思维过程

数学轨迹

数学推理任务具有难度范围广、客观可验证的特点，常被用于在后训练中提高模型的推理能力。作者将此类数据也纳入了预训练流水线，通过构造大量清晰、高质量的数学推理轨迹让模型具备稳定、可解释的数学推理能力

作者首先基于经典的【规划–动作–反思】流程构建了一套数学智能体框架，用于收集数学问题推理轨迹，架构如下

在【执行】与【反思】模块中，智能体可以选择执行 11 项原子能力，包括：

使用这一框架处理数学问题，对执行轨迹与最终结果做自动化筛选，便可获得高质量的轨迹数据

代码轨迹

Youtu-LLM 在两个粒度上构造代码轨迹数据。首先是针对代码智能体的核心原子能力收集“专项训练”数据，包括：

搜索定位: 根据模糊的日志或描述，在代码仓库中定位特定内容
代码补全: 在仓库级上下文信息下，补全关键代码片段
代码修复: 基于局部故障文件和特定问题描述，生成精确的修改或补丁
测试验证: 评估执行轨迹的正确性，定位故障点
环境理解: 解释或预测执行结果。参考 CWM（Meta提出的“代码世界模型”，一系列代码 Mid-training 任务与数据）合成函数和仓库级数据
自我反思: 根据环境反馈，修正生成的代码

然后在端到端场景下构造“实战演练”数据。任务层面上，基于 SWE-gym（一个高度集成，面向软件工程任务的沙盒环境）和 SWE-rebench（与 SWE-gym 配套的动态测试基准）提供的环境与数据，应用 SWE-Smith（自动生成代码缺陷与修复数据）的流程做扩充，得到了大量端到端编码任务；为了消除特定 Agent 风格的影响，使用多种脚手架生成这些任务的解决轨迹

上下文层面上，Youtu-LLM 不仅仅是在具备完整、可执行镜像环境的项目上构造任务，还基于大量缺乏可执行镜像的长尾仓库构造相对简单的静态评估任务（如故障定位和重构），极大地扩展了数据量

动作层面上，作者首先确定了两项决定任务成败的“关键动作”：代码修改与测试。然后在成功的轨迹中，找出这些关键动作并由 LLM 生成多条分支（不同改法或不同角度的测试），从而得到了更多样化的轨迹数据，避免过度模仿单一的成功轨迹让模型失去潜力

在失败的轨迹中，找到首个关键动作并扩展一条修正+测试分支然后截断后续内容，此操作的目的是保留失败轨迹开头可能存在的高价值“困难状态”，同时多给一次探索机会，并且严格排除了不被验证的错误步骤，让失败轨迹也产生价值不至于白白丢弃

深度研究轨迹

智能体做深度研究（DR）时，需要在复杂环境中进行多轮检索、验证、整合与总结，目前这类过程数据很稀缺，所以作者还设计了一套流程来构造大规模 DR 行为链条数据

DR 任务可以被划分为两大类：封闭式任务，例如多跳问答，通常有明确可验证的答案；以及开放式任务，例如生成一份全面的研究报告。封闭式任务构造的流水线为：

从知识密度高的种子语料库中（百科、题库、教材、论文等）提取多跳问答对，经过质量评估后用多种现有的 DR 框架构造查询轨迹，并且通过增加扰动（比如扰乱检索结果等）来提高任务多样性与难度；对于失败的查询轨迹，添加一个轨迹分析段落来检查并记录错误原因，作为一种反思语料

对于开放式 DR 任务，作者设计了两种数据合成路径。第一种是正向合成，简单说就是本着收集过程数据的目的去调用 DR 框架：首先基于百科术语、教材论文中的知识或课题、财务报告中的信息来构造分析类问题；然后要求 DR 框架在研究过程中，必须做更充分的反思重试以提高结果准确性、过程丰富度；最后使用整理过的检索结果执行大纲检索，并要求风格保持一致

另一种是逆向合成，基于带参考标识的报告类文档（论文、法律文书等）反向构造动作轨迹，并且通过与实际引用参考资料的一致性，来评估动作质量

除了完整的轨迹数据，作者还构造了专用于训练 DR 所需原子能力的数据，具体包括：

工具解析：基于真实的 API 调用结果，让 LLM 改写输入输出并分析“做了什么、能得出什么结论”（训练解析、总结和规划下一步的能力）
轨迹理解：对完整轨迹做“回顾总结”，提炼关键决策点、解释为什么这样做、评估有效性并提出可优化点（把隐含方法论显式化）
阅读理解：构造（上下文，问题，答案）三元组，再向上下文引入无关干扰项（提升在噪声中抓重点的能力）

工具调用轨迹

上述几种轨迹数据构造过程中实际上已经包含了大量的工具调用，但工具的多样性尚需提高，所以作者最后还额外收集了更多不限领域的工具集来合成更多样化的轨迹数据

基于现有的工具收集方法（Toucan-1.5M、FunReason-MT）整理了数千种 API、MCP、protocal 工具，并保留了工具的依赖关系（如表格搜索 → 表内查询 → 表格修改）形成工具图，然后通过随机游走生成工具调用链，再用两个 LLM 分别扮演 User 与 Assistant 模拟生成调用轨迹，并在其中引入模糊声明、重复请求、拼写错误等噪声，最后再使用一个 Expert LLM 将其总结成规划数据

模型训练

多阶段预训练

作者实现了包含四个阶段的预训练流程，每个阶段主要是数据配比存在区别，整体上按照【打牢通识】-【猛练理工和代码】-【长文本能力强化】-【Agent 能力引入】的思路设计

实验中作者也观察到：先做完通用长上下文训练，再训轨迹，收益更大（因为长上下文模型更能抓住跨段依赖信息）

监督微调

前一章节介绍了 Youtu-LLM 宏大的数据收集与合成流程，但它们都是用于预训练任务，模型在 next token 预测中领悟 Agent 场景相关知识，但模型依然需要监督微调来获得指令遵循能力

为此，作者进一步收集了包括数学、代码、科学推理、agent任务、通用问答、写作、role-play、多轮对话、安全在内的多领域指令数据，基于强教师模型生成 CoT 与回答，再通过规则规律、模型筛选、测试集去重（32-gram exact matching 方法）构造高质量样本

微调也分为推理 SFT 和通用 SFT 两个阶段，这一划分是为了巩固模型已有的潜在推理能力，一开始仅专注于没有风格约束干扰的逻辑推理任务，精心挑选了一批逻辑密集的数据集（数学、代码、科学推理、agent任务 4:3:2:1）做监督训练；然后再扩展到全量的指令数据集上做第二阶段训练，在此过程中还把一部分样本的推理内容去掉，作为非思考数据训练模型快速回答能力（由特殊 token 控制思考模式）

强化学习

Youtu-LLM 在数学、代码、复杂指令、安全四个领域上构造了一个大规模数据集，并尽量让奖励能被验证：

数学问题都设计了方便验证的模式指令（比如回答必须以xxx格式呈现）
编码问题通过一个仿真执行环境来做验证，同时也要求模型完成模拟执行任务（预测输出结果）
复杂指令方面收集了 100 多条多样化的基础指令，涵盖文本理解、角色扮演和创意写作等任务，其中简单任务使用规则验证字数、段落结构，复杂任务指定了参考答案与评分细则，然后用 LLM 产生反馈信号
安全方面训练了一个专门的奖励模型作为引导

RL 很容易翻车的一点是：训练时产生梯度的模型，和实际采样用的模型存在行为分布差异，容易导致优化很噪、甚至崩掉。为此作者使用了两项关键的工程改进：

用 FP16 而不是 BF16：采用 BF16 精度时，上述 RL 采样偏差问题会变得更严重，训练与推理间概率分布差会随着迭代次数一同增加

一致性采样：如果策略模型与采样模型在某条样本下的概率分布散度高于阈值，则丢弃这条样本，不用它来产生梯度；过滤后的样本再经过重要性采样来纠正剩余的小偏差

在数学和编码任务上，采用了这两项改进的训练方法效果更好

实验结果

智能体基准测试上，Youtu-LLM-2B 模型达到了同尺寸模型最优效果，并与 Qwen3-4B模型相当

多领域通用能力测试上，Youtu-Base 模型整体强于其他同类型模型，长文本能力尤为突出；Youtu-LLM-2B-instruct 模型整体强于同尺寸其他模型，弱于 Qwen3-4B

BGE-Reranker-v2-m3快速原型开发：云端IDE+GPU，效率翻倍

大模型入门必藏：Youtu-LLM解锁小模型的‘原生Agent‘潜能，1.96B也能做复杂任务！

如何系统的学习大模型 AI ？

01.大模型风口已至：月薪30K+的AI岗正在批量诞生

02.大模型 AI 学习和面试资料

第一阶段（10天）：初阶应用

第二阶段（30天）：高阶应用

第三阶段（30天）：模型训练

第四阶段（20天）：商业闭环

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【`保证100%免费`】

VibeThinker-1.5B降本秘诀：夜间3毛/小时，错峰实验省千元

Supertonic商业应用评估：按需付费测试，省下80%成本

SpringBoot注解参数校验，给代码穿上“防弹衣”

UVC深紫外净水技术：或将成为饮用水安全的新一代解决方案

每天一个网络知识：什么是MSTP？