目录
一、引言：alltoall—— 分布式深度学习的通信 “咽喉”
二、测试环境与指标定义
三、节点数维度：从 2 到 24 节点的带宽衰减规律
3.1 2 节点：带宽性能的 “基准天花板”
3.2 4 节点：带宽首次显著衰减
3.3 8 节点：衰减幅度持续扩大
3.4 16 节点：小数据量衰减加剧，大数据量趋于平稳
3.5 24 节点：带宽衰减达到峰值
四、数据量维度：从 128M 到 4G 的带宽饱和规律
4.1 128M：全场景带宽最低值
4.2 256M：带宽小幅回升
4.3 512M：带宽进入上升区间
4.4 1G：带宽进入饱和区间
4.5 2G：带宽完全稳定
4.6 4G：带宽小幅微调，仍处饱和
五、节点数 × 数据量：交互场景下的带宽性能矩阵
5.1 小数据量 + 大节点数：性能最受限场景
5.2 大数据量 + 大节点数：性能相对可用场景
六、测试数值汇总表
七、总结：数值规律的核心结论
一、引言：alltoall—— 分布式深度学习的通信 “咽喉”
在大规模分布式深度学习训练中，集体通信原语是串联多 GPU / 多节点算力的核心纽带，而alltoall则是其中最具代表性的操作之一：它要求每个节点将本地数据分片后，同步发送到集群内的所有其他节点，是混合专家（MoE）、大批次数据并行、模型张量切分等训练策略的 “刚需通信操作”。
当硬件升级到NVIDIA H200 GPU（Hopper 架构，搭载 141GB HBM3 内
