Meta FAIR发布CWM：代码世界模型，挑战代码生成新高度

最新消息，Meta FAIR隆重推出了代码世界模型！

CWM（Code World Model），一个拥有320亿参数、支持131k token上下文的先进语言模型，专为代码生成与推理而精心打造。

这标志着全球首个将世界模型系统性引入代码生成领域的语言模型。

相较于现有大型代码模型，CWM的独特之处在于，它不仅能生成代码、理解语义。

更关键的是，它“懂得”代码如何执行，能模拟代码运行过程中变量的状态变化与环境反馈，从而全面提升代码理解、调试乃至规划的能力。

也就是说，它具备了接近人类程序员的思考能力。

在多个代码与推理任务上，CWM表现出色，例如在SWE-bench Verified中的得分高达65.8%，领先所有开源同规模模型，已接近GPT-4级别。

更值得一提的是，Meta FAIR此次不仅开源了模型代码、训练细节，还提供了多个阶段的权重检查点，展现了满满的诚意。

有用户向LeCun提问：

“你不是一直认为语言模型只是AI的一个支线（LLMs are an off ramp）吗？为何又推出了以语言模型为基础的世界模型？”

LeCun轻松回复：

是的，但我们现在讨论的是编程，并非ASI哦～

让大模型“懂动态执行”

CWM的诞生，直击当前大模型在代码生成中的一大痛点：

尽管现有大模型已具备写代码的能力，但代码执行效果并不稳定，生成内容难以调试、不可执行，甚至存在隐藏逻辑错误。

FAIR团队认为，其根源在于大模型只是将代码作为文本进行预测。

它不理解代码的运行方式，对变量状态的变化、函数调用的副作用知之甚少（甚至一无所知）。

在FAIR团队看来：

如果希望模型像程序员一样思考，就必须教会它代码执行的“世界状态”变化。

因此，CWM首次在训练过程中引入代码世界建模的概念，明确让模型学习“代码运行过程中，程序状态如何一步步演变”。

这意味着，CWM的理解维度从静态文本跃迁到了动态执行。

Meta FAIR专攻AI与代码生成的资深研究科学家Gabriel Synnaeve在𝕏上分享了CWM追踪执行计算”strawberry”中”r”个数的代码示例：

你可以把它想象成一个可以设置为任何初始帧状态的神经‘pdb’，推理可以作为工具在标记空间中查询。

相较于传统代码大模型的静态预测（token接token），CWM在三大能力上有所升级——

第一，代码执行模拟。

CWM可以逐行模拟代码执行过程，预测每一行代码如何影响变量状态，甚至提前判断执行中的潜在错误。

这种能力为构建“神经调试器”提供了可能。

在CWM的推理过程中，变量状态可以随代码运行不断更新。

它甚至可以模拟终止条件、循环展开、边界情况，从而更精准地理解程序逻辑。

第二，自我调试与修复。

CWM不仅能写代码，还能自测、修错。

它能在生成代码后自动构造测试用例，并在发现代码失败时用多种修改路径尝试自我修复。

整个流程模拟了人类程序员常见的开发闭环：写→测试→改→再测。

第三，推理与规划能力。

面对复杂问题时，CWM还能进行推理与规划。

例如，在编程竞赛或数学任务中，它可以根据问题描述分析步骤、规划函数结构，再结合执行预测逐步生成并验证代码，展现出多轮逻辑推理能力。

... (后续内容保持不变) ...