大模型面试题59：vLLM使用TP时MHA head数非GPU整数倍的解决方案？

要搞懂这个问题，我们先理清两个核心概念的关系：张量并行（TP）是vLLM把大模型拆到多张GPU上跑的技术，多头注意力（MHA）的head是注意力机制的独立计算单元——TP对MHA的最优拆分方式是「按head均分」，这也是性能最高的方案。

当 head 数量不是 GPU 数量的整数倍时，核心矛盾是“没法均分”，但vLLM已经帮我们做了自动兼容，小白不用慌。下面从“为什么要均分”→“vLLM自动怎么处理”→“手动优化方案”一步步讲透。

一、入门级：先搞懂核心逻辑——为什么TP偏爱head数是GPU的整数倍？

用一个分苹果的类比，小白秒懂：

• 把MHA的head数量比作10个苹果；
• 把TP的GPU数量比作3个小朋友；
• 最优分配是每个小朋友分到一样多的苹果，这样大家一起吃完（计算完成），效率最高。

对应到vLLM的TP原理：

1. MHA的head是独立计算的：每个head负责一部分注意力的计算，互相不干扰，天生适合并行拆分；
2. TP按head拆分的优势：如果head数是GPU数的整数倍（比如 32个head → 4张GPU），每张GPU分到相同数量的head（8个/卡），计算负载完全均衡，GPU之间的通信开销最小，推理速度最快；
3. 非整数倍的问题：比如 32个head → 3张GPU，没法均分（3×10=30，剩2个），必然导致部分GPU分到的head更多，负载不均。