特斯拉自动驾驶新动向：融合模型与世界模拟器的双重策略

时隔两年多，特斯拉再度在自动驾驶领域“发声”。

不同于以往，此次特斯拉并非在AI Day的舞台亮相，而是在近期的计算机视觉顶级会议ICCV（International Conference on Computer Vision）上，由自动驾驶副总裁阿肖克·埃鲁斯瓦米（Ashok Elluswamy）发表主题演讲。

可能为了接续2023年6月提出的端到端架构后的“静默”，阿肖克从“特斯拉为何选择端到端？”开始分享，但实践多年后，他们发现仅依赖端到端实现智能辅助驾驶存在挑战。

图源Tesla AI

首要挑战是端到端系统需解决高维到低维的映射问题，这种多对一的映射保证输出正确性，训练难度极大。阿肖克的言外之意，可能是在强调端到端模型的“黑箱”问题。

基于特斯拉庞大的用户群，每日可产生相当于500年驾驶时长的数据，但多为常规场景数据，对算法长远泛化帮助有限。

为应对这些挑战，特斯拉在架构和算法层面进行优化调整，如输出决策控制指令前，增加输出OCC占用网络和3D高斯特征等视觉信息，以及思维链COT自然语言信息。

同时，基于真实数据基础，特斯拉建立了名为“神经世界模拟器”的闭环仿真系统。该系统既是“训练场”也是“考试场地”，可训练并验证算法正确性。

这不禁让人联想到国内车企与自动驾驶企业布局的VLA模型和世界模型。特斯拉已从“老师”角色转变为与理想、小鹏、吉利、华为、地平线和Momenta共同探索智驾答案的“同学”。

小鹏汽车CEO何小鹏曾表示：“国内任何有实力AI玩家，早已不关注马斯克在做什么。”

此外，两位曾任特斯拉Autopilot和自动驾驶项目高管的人士，对特斯拉自动驾驶进程表达了担忧。根据特斯拉最新财报，订阅FSD的比例仅约12%。

已非智驾行业“标准答案”的特斯拉，未来将驶向何方？

01、VLA vs 世界模型，特斯拉：我全都要

提出端到端架构两年后，特斯拉仍认为该架构重要。

端到端架构能减少从感知输入端到控制输出端的信息损失。面对如鸡、鹅过马路场景，传统模块化模型会丢失部分信息，导致输出端形成信息瓶颈。而端到端架构能确保决策和控制端基于丰富信息，结合神经网络和数据驱动学习“经验”，做出正确、安全、有效的驾驶行为。

因此，整个端到端架构的信息密度巨大。以30秒内36Hz频率采集的7路500万像素摄像头视频等信息为例，整体信息维度相当于20亿token。而输出端仅是方向和加减速控制信息，约等于2个token，意味着需解决高维到低维、多对一的映射问题。

端到端模型，图源SEA

阿肖克所述正是行业中老生常谈的——端到端存在信息维度压缩和深度神经网络非线性等特性，导致“黑箱”和不可解释性问题不可避免。

在训练数据上，特斯拉同样遇瓶颈。尽管每天可接收相当于500年驾驶时长的数据，但多为简单常规场景数据。高质量难例数据难求，如地平线CEO余凯所言：“在AI时代，99%的人类数据不值得学习”。

特斯拉技术分享的重点是对上述问题的解决方案。

针对最新端到端架构，阿肖克表示并非“彻头彻尾的‘黑箱’系统”。现在的架构在输出决策规划信号前，输出很多中间结果，包括OCC占用网络和3D高斯特征为主的场景重建视觉信息。此外，引入思维链COT，用自然语言解释行为并给出下一步行动轨迹。这些中间结果不仅用于SR界面渲染呈现，也用于研发校验和调优。

理想车主对以上描述应很熟悉，前排屏幕上常显示路径规划和思维过程画面。这是VLA模型中的“L”（Language）部分，加上“V”（Vision）的2D、3D信息以及MoE、Diffusion模型和“A”（Action）部分，组成VLA模型。

目前，除理想外，小鹏、元戎启行和千里科技等品牌也采用VLA架构打造智驾系统或方案。对于特斯拉而言，目标一致的同时，还致力于打造算法评价模型。

基于庞大真实用户数据，特斯拉在云端打造“神经世界模拟器”。用途有三：利用闭环仿真验证端到端指令正确性；利用场景编辑生成能力生成对抗样本检验模型能力；利用模拟器在闭环仿真系统中获取人驾真值。

实际上，云端世界模型非特斯拉首创。国内玩家如理想、小鹏、零跑等早已布局。其中华为乾崑在车端部署世界模型WA。

在国内智驾行业有端到端、VLA和世界模型的三种技术路线之争。从分析看，特斯拉最新智驾方案可能涵盖三者。

02、谎言、质疑和不爱用，特斯拉FSD未来驶向何处？

至2025年，马斯克仍为自动驾驶“画饼”。

在第三季度财报会上表示，特斯拉有望年底前在8到10个新州展开Robotaxi运营。而上季度财报会上称年底前Robotaxi将覆盖美国50%人口。此外，特斯拉车主将通过软件更新具备无需监督的全自动驾驶能力（L5）。

对于马斯克“画饼”，大家已司空见惯。自2016年起就鼓吹FSD尽早实现全自动驾驶目标，但无一兑现。

因此，曾任特斯拉自动驾驶业务高管的人士提出质疑。前人工智能主管安德烈·卡帕西（Andrej Karpathy）认为自动驾驶问题远未解决。据他回忆曾领导项目经历显著减少干预的迭代后进步不明显。

特斯拉前Autopilot负责人斯特林·安德森质疑其安全记录不如通用Super Cruise系统。

目前特斯拉Robotaxi车辆均配备安全员以防系统失效或错误。马斯克计划年底前去掉大部分安全员配置并在部分区域实现完全无安全驾驶员运营。

03、后记