LLaDA2.1：扩散语言模型的“成人礼”

扩散语言模型（dLLM），这一昔日被视为「小众赛道」的研究领域，如今正经历着质的飞跃。

本周一，LLaDA2.1 在 HuggingFace 上悄然发布，距上一版本 LLaDA2.0 仅时隔两个月。此次发布包含两个版本：LLaDA2.1-Mini（16B）与 LLaDA2.1-Flash（100B）。

作为该领域的标杆，LLaDA 的每次迭代都引领着整个方向的走向。而此次，LLaDA2.1 几乎凭一己之力完成了扩散语言模型的「成人礼」——892 Tokens/秒的峰值速度让理论上的效率优势首次照进现实；边生成边纠错的机制，打破了「快则不准」的魔咒；再加上可切换的双模式、首次跑通的强化学习后训练……这些信号再明确不过：这条曾被视为小众的学术路线，已经成长为真正可用、甚至在效率上更为优越的强大工具。

时至今日，逐个生成下一个 Token 的自回归模型仍是主流。但长文本生成中，计算成本高、推理速度慢只是表面问题；真正棘手却鲜被正视的是模型只能单向往前猜，看不到后文语境，写错了也没法回头改，误差像滚雪球一样越积越重。这些困境就像房间里的大象，始终横亘在规模化应用的门口。

LLaDA2.1 的解法很直接：与其在旧框架里修修补补，不如换一套底层逻辑——让模型像「完形填空」一样并行生成、反复打磨，把「下笔无悔」变成「边写边改」。

这套机制的具体运作，我们可以在蚂蚁集团、浙江大学、西湖大学、南方科技大学联合撰写的技术报告中找到答案。

• 论文地址：https://github.com/inclusionAI/LLaDA2.X/blob/main/llada2_1_tech_report.pdf
• Hugging Face：https://huggingface.co/collections/inclusionAI/llada21
• ModelScope 魔搭社区：https://modelscope.cn/collections/inclusionAI/LLaDA21
• GitHub：https://github.com/inclusionAI/LLaDA2.X
• Tech Report：https://huggingface.co/papers/2602.08676

自回归之外的另一条路

要理解 LLaDA2.1 的突破，必须从当前 AI 模型的「底层逻辑冲突」看起。

在主流 AI 大模型（如 GPT、Claude）的世界里，自回归架构是绝对的主宰。

它遵循逐 Token 生成的严苛范式：每一步输出都会固化为下一步的条件，生成路径如同单向延伸的铁轨，一旦落笔便不可回溯。比如写到「人不能两次走入同一条河流」，即使模型后来意识到应该是「踏入」而不是「走入」，也只能错到底。

这种方式在稳定性与可控性上具备天然优势，但代价同样明显。由于推理过程本质上是串行的，模型难以进行大规模并行解码，生成延迟随着上下文长度与输出规模不断放大，逐渐成为制约推理效率和部署成本的重要因素。更关键的是，这一范式在结构上默认慢而稳，并未为速度与吞吐的数量级提升预留太多空间。

基于此，扩散语言模型开始被视为一条具有潜在突破意义的替代路线，它不再执着于从左到右，而是尝试在全局空间内同时生成多个 Token。

然而，高并行往往伴随着高错误率。早期的扩散模型通常采用「掩码到 Token」（M2T）的固定路径，这种机制虽然快，却存在劣势：一旦某个生成的 Token 信心不足，模型无法在后续步骤中修正它，最终拖慢整体推理速度并降低输出质量。

这一「速度 — 质量」之间的结构性矛盾，使扩散语言模型长期停留在研究阶段，而难以真正进入应用系统。

在这一背景下，蚂蚁团队此前提出的 LLaDA 2.0 已经证明了百亿参数级扩散语言模型在规模化和并行解码上的可行性，但论文也坦率指出：如何在速度和生成质量之间取得可控、稳定的平衡，仍然是尚未解决的问题。

LLaDA 2.1 正是对这一核心矛盾的直接回应。他们不是继续堆参数、刷榜单，而是通过解码机制、训练范式与工程体系的系统性调整，让扩散语言模型真正跨过能跑和能用之间的门槛。

dLLM 的路走通了

我们先看一下结果：LLaDA 2.1 在处理复杂的编程任务时，其 100B（千亿）参数版本实现了 892 Tokens/秒的惊人峰值速度。

这一结果真正值得关注的前提在于，这是一个 100B 规模的模型。

对于很多研究者来说，怎么把 dLLM「做大做强」是一个公认的难题。业界主流做法包括从头训练、从自回归模型迁移能力，以及后训练阶段的性能与效率优化。前两条路线受限于数据规模、训练效率和计算成本，模型规模普遍停留在几十亿到三百亿参数以内；而后训练方向虽在代码、规划和推理加速上取得初步突破，但整体仍处于早期阶段，如何协同放大并扩展到千亿参数规模，依然是悬而未决的问题。

也正因为如此，LLaDA 2.1 的 100B 规模本身已经突破了这条路线长期存在的规模天花板。也正是在这一前提下，892 Tokens/秒的结果才显得格外关键——它并不是在一个容易加速的小模型上取得的，而是在扩散模型最难、最重的规模区间里跑出来的。

像人类专家一样「起草 - 编辑」

首先，LLaDA 2.1 创新性地提出了可纠错编辑机制 (Error-Correcting Editable, ECE)。它可以在毫秒级的闪电采样中起草整个答案，然后回过头来检查、修正。

• 第一步：快速起草。模型以极高的速度并行生成一个「草稿」，这个阶段允许一定程度的不确定性。
• 第二步：智能编辑。立即启动「编辑」模式，对草稿进行全局重新评估和自我修正。发现错误？回溯修改。发现更好的表达？即刻替换。

单模型双模式，把选择权交还给用户

LLaDA 2.1 还做了一个更大胆的设计：一个模型支持质量和极速两种模式：

• Speedy Mode（极速模式）
• Quality Mode（质量模式）

让模型听得懂话