强化学习：智能驾驶的进化钥匙

智能驾驶的进展，并非直线上升的轨迹，而是各种技术范式、工程限制与真实场景不断碰撞的结果。

无图、端到端、世界模型、VLA……每一条路径，都寄予厚望，也都在实施过程中逐渐显露边界。

随着行业逐渐走出概念验证阶段，单一技术名词已无法解释实际能力的差异。

算力规模、数据质量、系统架构、工程稳定性，共同决定智能驾驶的上下限。在此背景下，汽车之心特推出“智驾进化论”系列文章，以理解不同技术选择背后的现实条件，洞察技术热词背后的真实进展，剖析这场长期竞赛中的关键变量。

如果将近两年智能驾驶的技术讨论细化来看，会发现一个现象。

无论是端到端、VLA，还是世界模型，看似路径不同，最后几乎都指向同一个词：强化学习。

理想基于“VLA+强化学习”构建新护城河；小鹏也强调，“云端基座模型+强化学习”的组合，是模型性能突破天际的最佳途径；Momenta则通过押注强化学习，打造出R6飞轮大模型……越来越多的玩家，都在将资源向这条线倾斜。

强化学习，正由“技术选项”，变为“必选项”。

有趣的是，这个词在过去并不性感。

在更早的深度学习体系里，它只是一种小众、冷门的训练流派，长期存在于学术与实验系统中。

直到AlphaGo、ChatGPT这类产品出现，行业才突然意识到：原来让AI自己试错，才是进化最快的方式。

2025年，理查德·萨顿和安德鲁·巴托拿下图灵奖，算是给强化学习彻底“正了名”。

现在，强化学习是行业公认通向人工智能的必经之路。在智能驾驶这个最难落地、最讲安全的场景里，它正在悄悄变成决定上限的底层能力。

但，如何用好强化学习这一重磅级武器？强化学习能把智能驾驶带到哪一步？还需要更确切的答案。

01

理解强化学习，先理解模仿学习

在强化学习成为行业热词之前，智能驾驶真正流行的，其实是模仿学习。

简单来说，模仿学习的思路是：让AI反复观看“老司机”的驾驶录像，然后不断刷题、照着学。红灯刹车、路口减速、变道打灯，都变成了“标准答案”。

这就像是给AI刷驾考题库，只要题库够大，成绩就不会太差。

在“学习”语境中，模仿是一种快速、稳定、成本相对可控的方式。

AI发展的早期阶段，很大程度上正是建立在模仿学习之上。

典型案例是AlphaGo。在进入强化学习阶段之前，AlphaGo先看了大量人类高手的棋谱，学会“人一般怎么下”。那时候的AlphaGo，能达到顶级业余棋手的水准。

但问题也恰恰在这里。模仿学习的上限，往往只能是“接近人类平均水平”。

它的训练逻辑注定会带来弊病。在学习开车这件事上：

• “师父不行，徒弟就废”：如果训练数据中的人类司机本身存在坏习惯，模型也会原样继承。
• 没见过就懵：如果遇到录像里从没出现过的情况，AI则没答案可抄。
• 不知为何而做：只是在模仿表象，而不是真正理解交通背后的物理规律和安全原则。

这也是为什么自动驾驶靠模仿学习能解决90%的场景，但剩下10%的极端、罕见的长尾场景，始终难以克服。

而AlphaGo给出的解法，正是强化学习。

从中可以提炼出强化学习的三条奥义：

• 不再是AI学人类，而是AI教AI；
• AI自己试错，答对奖励，答错惩罚；
• 在大量实践中，总结出比示范更优的解法。

02

奖励函数：强化学习最严厉的老师

第一，要在矛盾权重之中找到一个精妙的平衡点。

• “安全VS效率”：太安全会偏向保守，但过于注重效率又会导致安全风险。