news 2026/5/8 17:33:36

Transformer统治地位受挑战!SubQ模型计算量暴减千倍,成本仅Opus的5%

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Transformer统治地位受挑战!SubQ模型计算量暴减千倍,成本仅Opus的5%

【导语:近日,一款名为SubQ的AI模型横空出世,它基于完全亚二次方稀疏注意力架构(SSA),上下文高达1200万Token,计算量较Transformer暴减1000倍,成本不到Claude Opus的5%,引发AI界广泛关注。】


SubQ横空出世,Transformer地位受威胁

今天,全球首个基于完全亚二次方稀疏注意力架构(SSA)的模型SubQ震撼登场,其上下文高达1200万Token。相较于Transformer,它的计算量直接暴减1000倍。实验显示,100万token上下文时,SubQ比FlashAttention快52倍,成本不到Claude Opus的5%。

Transformer深陷“二次方复杂度”泥潭

自2017年谷歌奠定Transformer架构的统治地位后,九年里,从GPT到Claude到Gemini,所有前沿大模型都基于密集注意力机制。Transformer工作方式暴力,每个token都要和序列中所有其他token比较,导致深陷「二次方复杂度」泥潭,上下文每增加一倍,计算成本飙升四倍,这使得几乎所有LLM的上下文卡在100万token左右。

SSA架构:减少计算量,提升速度

SubQ的核心突破SSA架构,思路简单,不再让每个token和所有token做比较,只计算有意义的交互,跳过99%以上的无用计算。它具有线性扩展、内容依赖路由、精确检索三大关键特性,不是把密集注意力算得更快,而是让模型做更少的注意力计算。

在不同token长度下,SSA都展现出明显的速度优势,上下文越长,优势越碾压。算力消耗方面,100万token下,注意力FLOP减少62.5倍;1200万token下,接近1000倍。成本上,在RULER 128K基准测试上,SubQ花费8美元,Opus为2600美元,差距达300倍。且这些优势并未牺牲准确率。

13人初创公司引发行业争议

Subquadratic成立于2024年,拿下2900万美元种子轮,估值5亿美元。公司仅13人,研究团队11人全是博士。此次产品线三条同时上线。

SubQ发布后,AI社区分裂成两个阵营。支持者认为这是2026年最疯狂的AI发布之一;怀疑派则直言是「骗子公司」。答案或许要等技术报告公开、独立benchmark复现之后才会揭晓。

编辑观点:SubQ模型若真能实现宣传中的效果,将是Transformer问世以来最重要的架构级突破,但在未得到验证前,其真实性仍存疑,值得行业持续关注。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/8 17:33:20

推荐一下舞台升降吊杆维护维保金额

舞台升降吊杆是现代剧场和演播室中不可或缺的设备之一,它们在演出过程中承担着重要的角色。然而,随着使用时间的增长,这些设备也面临着老化、磨损等问题,若不及时进行维护保养,可能会引发严重的安全事故。本文将从多个…

作者头像 李华
网站建设 2026/5/8 17:32:19

长期使用Taotoken聚合API在月度账单与用量上的可见性分析

🚀 告别海外账号与网络限制!稳定直连全球优质大模型,限时半价接入中。 👉 点击领取海量免费额度 长期使用Taotoken聚合API在月度账单与用量上的可见性分析 1. 引言 对于持续集成大模型能力的开发团队而言,成本的可观…

作者头像 李华
网站建设 2026/5/8 17:32:11

QYYB-01 无线雨量报警仪---雨情监测的智能哨兵

在防汛减灾、水文监测、农业灌溉等众多领域,实时精准掌握降雨量变化至关重要。无线雨量报警仪,作为一款集实时测量、数据传输、智能报警与数据管理于一体的专业设备,凭借其稳定可靠的性能,成为雨情监测场景中的核心装备。该设备由…

作者头像 李华