＜span class=“js_title_inner“＞华为为什么在自驾VLA模型上悄无声息？＜/span＞

点击下方卡片，关注“自动驾驶之心”公众号

戳我->领取自动驾驶近30个方向学习路线

作者 | 刘延@知乎

链接 | https://www.zhihu.com/people/liu-yan-14-92

编辑 | 自动驾驶之心

本文只做学术分享，如有侵权，联系删文

>>自动驾驶前沿信息获取→自动驾驶之心知识星球

VLA不是唯一解，只是未来路线中的一种。

关于华为对VLA路线的看法，我的解释基本对应的上。

VLA的优点在于，在架构中增加了大模型，具备一定现实理解能力，是当下端到端技术探索的新路线

关于VLA，得先从原理说起。

VLA是把摄像头、激光雷达、毫米波雷达，甚至车外麦克风等信息和自车信息持续输入，问一个大模型如何开车。

如果你截一张行车记录仪的图，问DeepSeek应该如何开车，并让它只输出怎么开车，恭喜你，你获得了VLA的雏形。

有了这个雏形，再去做工程上的优化，终归是会大力出奇迹的。

端到端模式，依然存在数据的边际效应递减问题，以及Corner Case覆盖不够的问题。

当然，端到端模型最大的问题不是这些，而是模型的AI只知道相关性，而非因果性。此外，还有个灾难性遗忘的问题。

相较于目前的端到端，VLA架构中增加了LLM——也就是大模型，因此具备了对于现实世界更好的理解能力。

虽然大模型是否具备真正的理解能力还有争议，但相较于上面的端到端仅有相关性没有因果性的理解，大模型起码知道，红灯应该停。

大模型，特别是中小参数模型性能的飞速增长，意味着在VLA中的这个“L”的能力，也可以飞速增长。

但VLA的缺点在于，对于硬件的要求，模型能力的上限，都受到了约束。

以理想为例，VLA大体可以看做四步：

• 1）识别图像；

• 2）把图像信息和自车信息输入大模型(也就是Prefill）

• 3）大模型输出驾驶建议（也就是Decode）

• 4）将输出建议画成自车轨迹+环境，提供真正的驾驶建议。

所有内容，先变成语言对环境的描述，然后输入到一个（尺寸不算大）的大模型中，让这个大模型判断怎么开车，然后画出来行车轨迹。

为了泛化，多了一道转化，也会导致信息量的损失。

当然，对算力、内存带宽的需求也极大增长。

为了降低延迟，理想和小鹏都做了巨量的工程上的优化，

智驾的前沿模型还有世界模型和视频生成模型

——这不是我说的，这是王兴兴说的。

毕竟本来VLA也是之前具身智能领域拿过来的。

世界模型是直接通过环境信息，生成虚拟世界中对于未来的预测。

相较于VLA，世界模型少了两个步骤，即

2）把图像信息和自车信息输入大模型(也就是Prefill）
3）大模型输出驾驶建议（也就是Decode）

这样，理论上不仅具备对世界环境的理解能力，也可以实现更低的延迟。

华为ADS 4.0的车端世界行为模型大体是这个意思。

大体如此吧。

自动驾驶之心

求点赞

求分享

求喜欢