news 2026/4/23 17:24:31

给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
给大模型做“微创手术”:只动 1.59% 的脑回路,数学却更清醒了

在大语言模型(LLM)的世界里,最令人抓狂的失败往往不是“不会”,而是“明明会,却走神”。一道小学应用题,模型能把人数算对、减法写对,却在关键一步突然把“有 6 个男生缺席”读成“没说男生缺席”,然后一本正经地给出错误答案——仿佛一个聪明的学生在考场上被窗外的鸟叫拐跑了注意力。

论文《Constructive Circuit Amplification: Improving Math Reasoning in LLMs via Targeted Sub-Network Updates》(Prakash 等,2025)要做的事情,听起来像科幻外科:不对整台模型做大规模“再训练”,而是先找出它推理时“第一次跑偏”的那个词,再定位出是哪些注意力头和 MLP 神经元在“把它往正确路上推”,最后只更新这极小一撮组件(最低只占 0.17%,最高也就 1.59%),就能让数学推理准确率提升最高 +11.4%,而且对 MMLU、TriviaQA、TruthfulQA 等通用能力影响很小。

本文精读将严格围绕你指定的重点:DCM 掩码(Desiderata-based Component Masking)稀疏更新(targeted sub-network updates),把它讲清楚:它到底怎么找“该动哪几根神经”,为什么只动一点点会有效,实验结果说明了什么,以及它的边界在哪里。


🧭 一、为什么“只动一点点”可能比“全身按摩”更有效?

论文建立在两条来自机制可解释性(mechanistic interpretability)的经验事实上

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/22 19:46:21

SM4加密存储与html5大文件分片上传结合方案

前端老哥外包救星:原生JS大文件上传组件(IE9兼容20G断点续传) 兄弟,作为甘肃接外包的前端程序员,我太懂你现在的处境了——客户要20G大文件上传,还要文件夹层级保留、IE9兼容、加密传输,预算还…

作者头像 李华
网站建设 2026/4/23 14:30:44

YOLO镜像支持Docker部署,一键启动服务

YOLO镜像支持Docker部署,一键启动服务 在智能工厂的产线旁,一台边缘服务器正同时处理来自十路摄像头的实时视频流——每秒上百帧的画面中,微小的划痕、缺失部件被精准识别并触发报警。运维人员只需一条命令就完成了整个视觉质检系统的上线&am…

作者头像 李华
网站建设 2026/4/23 14:30:59

YOLO镜像内置Label Studio,数据标注更便捷

YOLO镜像内置Label Studio,数据标注更便捷 在智能视觉项目开发中,一个常见的痛点是:拿到一批新图像后,团队往往要花上几天时间才能跑通第一个检测模型——不是因为算法太难,而是卡在了环境配置、工具切换和格式转换这些…

作者头像 李华
网站建设 2026/4/23 16:04:15

YOLO模型部署遇到问题?常见错误排查手册

YOLO模型部署常见问题与实战排查指南 在工业视觉系统日益智能化的今天,实时目标检测已经不再是实验室里的概念验证,而是产线上的刚性需求。无论是质检环节的缺陷识别、物流场景中的包裹分拣,还是智能安防中的行为分析,YOLO&#x…

作者头像 李华
网站建设 2026/4/23 10:53:46

springboot_ssm枣庄美食夜市一条街网站

目录具体实现截图系统所用技术介绍写作提纲核心代码部分展示系统性能结论源码文档获取/同行可拿货,招校园代理 :文章底部获取博主联系方式!具体实现截图 springboot_ssm枣庄美食夜市一条街网站 系统所用技术介绍 本系统采取了一系列的设计原则&…

作者头像 李华
网站建设 2026/4/23 10:51:31

YOLO训练技巧:如何设置最优学习率和Batch Size

YOLO训练技巧:如何设置最优学习率和Batch Size 在工业质检线上,一台搭载YOLO模型的视觉系统正高速运转,每秒处理上百帧图像以识别微小缺陷。然而工程师发现,模型在训练后期mAP停滞不前,验证损失波动剧烈——这背后很可…

作者头像 李华