news 2026/5/16 17:25:30

【IC】英伟达显卡的超高显存带宽

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【IC】英伟达显卡的超高显存带宽

LPDDR 和英伟达用的显存完全不是一个量级的东西。

英伟达 H100/B200 之所以能达到3.35 TB/s ~ 8 TB/s的恐怖带宽,不是因为它跑得快(频率其实不高),而是因为它路太宽了

1. 揭秘:HBM 的“暴力美学”

英伟达的高端 AI 卡(H100/B200)用的既不是 GDDR,也不是 LPDDR,而是HBM3 / HBM3E (High Bandwidth Memory)

我们来做一个简单粗暴的算术题:

A. 你的 LPDDR5X (64-bit)
  • 频率:8.5 Gbps (非常快!)
  • 位宽64 bit(很窄,像双车道)
  • 带宽8.5 × 64 / 8 ≈ 68 GB/s 8.5 \times 64 / 8 \approx \mathbf{68 \text{ GB/s}}8.5×64/868GB/s
B. 英伟达 H100 (5120-bit)
  • 频率:5.2 Gbps (其实比你的 LPDDR 还慢!)
  • 位宽5120 bit(这是 80 车道的超级高速公路!)
    • H100 封装了5 颗HBM3 显存堆栈。
    • 每颗 HBM3 堆栈有1024 bit位宽。
    • 总位宽 =1024 × 5 = 5120 bit 1024 \times 5 = 5120 \text{ bit}1024×5=5120bit
  • 带宽5.2 × 5120 / 8 ≈ 3 , 350 GB/s ( 3.35 TB/s ) 5.2 \times 5120 / 8 \approx \mathbf{3,350 \text{ GB/s}} (3.35 \text{ TB/s})5.2×5120/83,350GB/s(3.35TB/s)
C. 英伟达 B200 (8192-bit)
  • 频率:8.0 Gbps (HBM3E)
  • 位宽8192 bit(使用了 8 颗 HBM3E)
  • 带宽8.0 × 8192 / 8 ≈ 8 , 000 GB/s ( 8 TB/s ) 8.0 \times 8192 / 8 \approx \mathbf{8,000 \text{ GB/s}} (8 \text{ TB/s})8.0×8192/88,000GB/s(8TB/s)

结论:英伟达赢在位宽上。它的位宽是 LPDDR 的100 倍以上。

2. 为什么 LPDDR 做不到这么宽?

你可能会问:“那我也把 LPDDR 的位宽做大不就行了?”

这就是物理限制了:

  • LPDDR 需要在 PCB 板上走线:你在主板上画 64 根线还可以,画 5000 根线?板子得有几十层厚,面积得像桌子一样大,根本画不下。
  • HBM 是在芯片里走线:HBM 是通过CoWoS (2.5D 封装)技术,在硅中介层(Interposer)上刻蚀出来的线。硅片上的线宽只有几微米,所以可以在指甲盖大小的地方塞进几千根线。

3. GDDR 呢?它在哪里?

  • 消费级显卡 (RTX 4090)还在用GDDR6X
    • 频率:21 Gbps (极快!是 HBM 的 3-4 倍)
    • 位宽:384 bit (比 LPDDR 宽,但远不如 HBM)
    • 带宽21 × 384 / 8 ≈ 1 , 008 GB/s ( 1 T B / s ) 21 \times 384 / 8 \approx \mathbf{1,008 \text{ GB/s}} (1 TB/s)21×384/81,008GB/s(1TB/s)
    • 你看,即使是最顶级的 GDDR,带宽也只有 HBM 的几分之一。

总结

  • LPDDR (68 GB/s)电动车。省电、便宜、随便跑。
  • GDDR (1 TB/s)F1 赛车。单圈极速(频率)最快,但车道少。
  • HBM (4-8 TB/s)高铁车队。虽然单车速度(频率)不快,但它一次能拉几百节车厢(位宽极大),总运力无敌。

所以,做 AI 训练这种吞吐量极大的任务,HBM 是唯一的选择

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/10 3:30:44

别再手动写代码了!Open-AutoGLM智能体电脑自动化实战揭秘

第一章:Open-AutoGLM智能体电脑的革命性突破Open-AutoGLM智能体电脑的发布标志着人机交互与自主决策系统进入全新纪元。该设备融合了大型语言模型、实时环境感知与自动化执行能力,首次实现了从“被动响应”到“主动规划”的跨越。其核心架构不再局限于传…

作者头像 李华
网站建设 2026/5/4 0:17:23

从零搭建AutoGLM流水线:3小时实现全流程自动化任务调度

第一章:从零开始理解AutoGLM自动化流水线 AutoGLM 是一种面向大语言模型任务的自动化流水线框架,专为简化模型训练、调优与部署流程而设计。它通过抽象化数据预处理、模型选择、超参数优化和结果评估等关键步骤,使开发者能够以声明式方式快速…

作者头像 李华
网站建设 2026/5/14 11:50:40

计算机Java毕设实战-基于springboot的健身服务管理系统基于Spring Boot的健身房信息管理系统健身卡管理系统【完整源码+LW+部署说明+演示视频,全bao一条龙等】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/5/2 7:31:24

智谱清言Open-AutoGLM插件实战指南:5步实现高效智能内容生成

第一章:智谱清言Open-AutoGLM插件概述Open-AutoGLM 是智谱清言推出的一款面向自动化自然语言处理任务的开源插件,旨在通过大模型能力实现从任务定义到代码生成的端到端流程。该插件支持多种常见NLP场景,如文本分类、命名实体识别、摘要生成等…

作者头像 李华
网站建设 2026/5/12 12:48:38

Java毕设项目推荐-基于java+springboot的微竞网咖网吧管理系统基于java的网吧管理系统【附源码+文档,调试定制服务】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/5/1 4:43:44

从“十五五”规划看数字工厂、智能制造、工业互联网与工业大数据、智能工厂AI大模型应用解决方案

“十五五”时期(2026-2030),国家把“数字工厂、智能制造、工业互联网、工业大数据、AI 大模型”统一纳入新型工业化顶层设计,政策、技术、场景、商业模式四条主线同步推进,可概括为“1 个核心目标、3 类基础设施、5 大…

作者头像 李华