MIT发布SDFT创新技术：攻克AI‘灾难性遗忘’，实现零回退的终身学习

在人工智能领域，让模型在获取新技能的同时不丢失既有知识，一直是学术界致力攻克的难题。近日，麻省理工学院（MIT）的一项研究打破了这一僵局。

MIT团队提出了一种名为自蒸馏微调（SDFT）的全新方法。实验结果显示，该方法在引导模型学习多项新任务时，其准确率不仅显著优于传统的监督微调，更难能可贵地实现了几乎“零遗忘”的能力积累。这标志着AI向真正的“终身学习”系统迈出了坚实的一步。

长期以来，AI模型在部署后往往处于“静态”状态，难以通过持续的参数更新进行自我进化。其核心瓶颈在于：模型在吸纳新知识的过程中，极易对旧有能力产生干扰。

最新的实验数据证实，SDFT能够助力单一模型在不断演进的过程中，稳步掌握多维技能而不会出现性能退化，为构建能够自我进化的AI提供了全新路径。

SDFT如何化解持续学习中的技术瓶颈？

要让AI具备类似人类的持续进化能力，目前的常规技术路径主要存在两大短板。

其一，强化学习虽能缓解遗忘，但其高度依赖于极难设计的显式奖励函数；其二，广泛使用的监督微调（SFT）本质上是一种“离策略”学习。模型只是在生硬地模仿过去的专家数据，一旦面对新任务，其状态极易发生偏移，从而引发“学会新知识，丢掉旧本事”的灾难性遗忘现象。

SDFT的核心创新在于，它通过利用大模型卓越的上下文学习能力，将静态的专家示例转化为动态的“策略内”训练信号。在训练阶段，模型扮演双重角色：作为“导师”，它结合专家提示生成更精准的输出分布；作为“学徒”，它仅凭任务输入做出反馈。通过自我蒸馏，学徒不断向导师的分布靠拢，且这种学习完全建立在模型自身生成的轨迹之上。

这种精妙的设计确保了模型无需外部奖励，即可实现策略内优化，从而在吸收新信息的同时，完整保留模型的原生通用能力。

SDFT的实测表现究竟如何？

为了验证SDFT的有效性，研究小组针对技能习得与知识获取两大维度进行了严谨测试，并与SFT等主流方法进行了横向对比。

在技能习得测试中（涵盖科学答题、工具调用及医疗逻辑推理），SDFT在各项任务上的准确度均超越了SFT，展现出更强的泛化素质。

而在最具挑战性的多任务持续学习实验中，当模型按顺序学习三项技能时，SDFT表现出稳健的能力累积特性，反观SFT，在接触新任务后，其早期习得的技能表现便出现了断崖式下跌。

在知识注入任务中，模型被要求学习其训练集之外的新事实（如2025年的突发事件）。SDFT的准确率高达89%，远超SFT的80%，其表现甚至直逼复杂的RAG（检索增强生成）系统。更关键的是，SDFT能让模型通过新知识进行深度推理，而非死记硬背。

此外，研究还总结了两大核心发现：

首先，模型规模越大，SDFT的效果增益越显著。由于该技术深度依赖上下文学习能力，大型模型往往能提供更高质量的自蒸馏信号。

其次，SDFT能有效保护模型的推理深度。在仅提供最终答案的微调场景下，SFT往往会导致模型“变笨”（推理步骤缩减），而SDFT则能维持模型原有的复杂思考逻辑。

SDFT的行业意义与未来局限

SDFT并非要取代强化学习，而是两者的有机互补。在缺乏奖励机制的初期阶段，SDFT能提供高质量的初始化模型，为后续的强化微调打下优异基础。

虽然SDFT的单次训练成本约为传统方法的2.5倍，但考虑到其无需反复修补知识库的一体化优势，其总体效率依然极具竞争力。

当然，SDFT目前仍存在挑战：其一是对底座模型素质的高度依赖；其二是可能出现的微小语言伪影；其三是在彻底改变模型行为模式（如让非CoT模型学会思维链）方面的局限性。未来，随着该技术与强化学习的深度融合，AI的终身学习能力将变得更加稳健和实用。