LLaDA2.1：扩散语言模型的里程碑

扩散语言模型（dLLM），这一曾被视为小众的研究领域，如今迎来了质的飞跃。

本周一，LLaDA2.1在Hugging Face上悄然上线，距离上一次版本LLaDA2.0的发布仅过去两个月。此次发布包含两个版本：LLaDA2.1-Mini（16B）与LLaDA2.1-Flash（100B）。

作为这一领域的标杆，LLaDA的每次迭代都引领着整个方向的发展。而LLaDA2.1几乎凭一己之力完成了扩散语言模型的“成人礼”——892 Tokens/秒的峰值速度让理论上的效率优势首次照进现实；边生成边纠错的机制打破了“快则不准”的魔咒；再加上可切换的双模式、首次跑通的强化学习后训练……这些信号再明确不过：这条曾被视为小众的学术路线，已经成长为真正可用、甚至在效率上更为优越的强大工具。

时至今日，逐个生成下一个Token的自回归模型仍是主流。但长文本生成中，计算成本高、推理速度慢只是表面问题；真正棘手却鲜被正视的是模型只能单向预测，无法看到后文语境，写错了也无法回头修改，误差像滚雪球一样越积越重。这些困境就像房间中的大象，始终横亘在规模化应用的门口。

LLaDA2.1的解法很直接：与其在旧框架里修修补补，不如换一套底层逻辑——让模型像“完形填空”一样并行生成、反复打磨，把“下笔无悔”变成“边写边改”。

这套机制的具体运作，我们可以在蚂蚁集团、浙江大学、西湖大学、南方科技大学联合撰写的技术报告中找到答案。

• 论文地址：https://github.com/inclusionAI/LLaDA2.X/blob/main/llada2_1_tech_report.pdf
• Hugging Face：https://huggingface.co/collections/inclusionAI/llada21
• ModelScope 魔搭社区：https://modelscope.cn/collections/inclusionAI/LLaDA21
• GitHub：https://github.com/inclusionAI/LLaDA2.X
• Tech Report：https://huggingface.co/papers/2602.08676

自回归之外的另一条路

要理解LLaDA2.1的突破，必须从当前AI模型的“底层逻辑冲突”说起。

在主流AI大模型（如GPT、Claude）的世界里，自回归架构是绝对主宰。

它遵循逐Token生成的严格范式：每一步输出都会固化为下一步的条件，生成路径如同单向延伸的铁轨，一旦落笔便不可回溯。例如写到“人不能两次走入同一条河流”，即使模型后来意识到应该是“踏入”而不是“走入”，也只能错到底。

这种方式在稳定性与可控性上具备天然优势，但代价同样明显。由于推理过程本质上是串行的，模型难以进行大规模并行解码，生成延迟随着上下文长度与输出规模不断放大，逐渐成为制约推理效率和部署成本的重要因素。更关键的是，这一范式在结构上默认慢而稳，并未为速度与吞吐的数量级提升预留太多空间。

基于此，扩散语言模型开始被视为一条具有潜在突破意义的替代路线，它不再执着于从左到右，而是尝试在全局空间内同时生成多个Token。

然而，高并行往往伴随着高错误率。早期的扩散模型通常采用“掩码到Token”（M2T）的固定路径，这种机制虽然快，却存在劣势：一旦某个生成的Token信心不足，模型无法在后续步骤中修正它，最终拖慢整体推理速度并降低输出质量。

这一“速度—质量”之间的结构性矛盾，使扩散语言模型长期停留在研究阶段，而难以真正进入应用系统。

在这一背景下，蚂蚁团队此前提出的LLaDA2.0已经证明了百亿参数级扩散语言模型在规模化和并行解码上的可行性，但论文也坦率指出：如何在速度和生成质量之间取得可控、稳定的平衡，仍然是尚未解决的问题。

LLaDA2.1正是对这一核心矛盾的直接回应。他们不是继续堆参数、刷榜单，而是通过解码机制、训练范式与工程体系的系统性调整，让扩散语言模型真正跨过能跑和能用之间的门槛。

dLLM的路走通了

我们先看一下结果：LLaDA2.1在处理复杂的编程任务时，其100B（千亿）参数版本，实现了892 Tokens/秒的惊人峰值速度。

这一结果真正值得关注的前提在于，这是一个100B规模的模型。

对于很多研究者来说，怎么把dLLM“做大做强”是一个公认的难题。业界主流做法包括从头训练、从自回归模型迁移能力，以及后训练阶段的性能与效率优化。前两条路线受限于数据规模、训练效率和计算成本，模型规模普遍停留在几十亿到三百亿参数以内；而后训练方向虽在代码、规划和推理加速上取得初步突破，但整体仍处于早期阶段，如何协同放大并扩展到千亿参数规模，依然是悬而未决的问题。

也正因为如此，LLaDA2.1的100B规模本身就已经突破了这条路线长期存在的规模天花板。也正是在这一前提下，892 Tokens/秒的结果才显得格外关键——它并不是在一个容易加速的小模型上取得的，而是在扩散模型最难、最重的规模区间里跑出来的。

更重要的是，这一速度并非来自简化任务或短文本生成，而是出现在HumanEval+这样的复杂编程基准中。在这一场景下，模型不仅需要处理长上下文，还必须保持逻辑一致性与语法正确性，推理效率往往是最先被牺牲的指标。

像人类专家一样“起草-编辑”

首先，LLaDA2.1创新性地提出了可纠错编辑机制(Error-Correcting Editable, ECE)。它可以在毫秒级的闪电采样中起草整个答案，然后回过头来检查、修正。

• 第一步：快速起草。模型以极高的速度并行生成一个“草稿”，这个阶段允许一定程度的不确定性。
• 第二步：智能编辑。立即启动“编辑”模式，对草稿进行全局重新评估和自我修正。发现错误？回溯修改。发现更好的表达？即刻替换。

这一范式涵盖了两类操作：从掩码到Token的直接解码以及从一个Token到另一个Token的编辑。这种策略使模型能够在生成过程中直接精炼自身输出，从而有效解决并行解码中常见的局部不一致性。为了培养这种编辑能力，团队在持续预训练（CPT）和指令微调（SFT）阶段将模型同时暴露于掩码位置和随机噪声中，激励其不仅生成新内容还能识别并修正现有错误。

单模型双模式，把选择权交还给用户

LLaDA2.1还做了一个更大胆的设计：一个模型支持质量和极速两种模式：

• Speedy Mode（极速模式）: 激进地降低初始生成的置信度阈值快速产出草稿依靠后续编辑来保证质量适合代码生成快速迭代头脑风暴等场景。
• Quality Mode（质量模式）: 采用保守策略提高初始生成的质量要求减少需要修正的错误适合正式文档学术写作高精度任务。

让模型听得懂话

如果说可纠错编辑让模型变得可用那么强化学习则让模型变得更聪明更可靠——体感更强。

为进一步提升模型能力团队在训练流程中引入了强化学习阶段尽管近期已有研究工作（如SPG、TraceRL与ESPO）证明了强化学习在提升扩散语言模型性能方面的潜力但由于序列级对数似然难以精确计算将策略梯度方法应用于块自回归模型仍然面临显著挑战。

针对这一问题蚂蚁团队提出并采用了一种基于ELBO的块级策略优化方法（ELBO-based Block-level Policy Optimization, EBPO）,该框架专门针对可编辑解码结构进行了设计与适配。

“边写边改”的LLaDA2.1效果到底如何？

“边写边改”的背后藏着蚂蚁团队围绕扩散语言模型长期瓶颈所做的一整套系统性调整。

“像人类专家一样‘起草-编辑’

“单模型双模式”

“让模型听得懂话”