大模型错题本：从内部反思到性能跃升

【导读】传统训练聚焦于模型输出精准度，而最新研究通过引入「错题本」，记录模型犯错时的内部状态，包括问题、推理路径及错误位置，模拟人类反思学习过程。借助这些「错题本」，辅助模型能实时校正主模型预测，实现性能飞跃。

回顾学习历程，我们不难发现：能力的质变并非刷题数量累积，而是系统整理「错题本」的深化阶段。

关键在于，不仅是记录错误答案，更要持续追问——为何会如此思考？哪一步判断出错？是偶发还是模式性错误？

正是借助反思式学习，人类逐渐掌握识别「错误规律」，在复杂与不确定性面前更加稳健。

那么，大语言模型是否也拥有其「错题本」呢？

当前主流训练范式简化模型学习过程为：输入→预测→对比loss→参数更新，本质在于「如何更好拟合正确答案」。

模型仅关注结果对错，不探究内部推理路径，忽略了：我是如何一步步走向错误结论的？

这暴露出关键缺失：大模型不缺数据与算力，但缺乏类似人类的深度反思能力——即围绕错误进行结构化复盘。

伊利诺伊大学与普林斯顿大学研究人员在最新论文中提出了「人类化」概念：Mistake Log（错题本）。

• 论文链接：https://arxiv.org/pdf/2505.16270
• 代码链接：https://github.com/jiaruzouu/TransformerCopilot

与传统训练不同，Mistake Log旨在揭示：模型在何种内部状态下犯错？

即关注错误产生全过程，而非仅答案正确与否。

Mistake Log的三层结构

Question：模型当时面对的问题

每个输入映射为问题级别表示，刻画任务语境：

相当于自问：「我当时做哪道题？」

Rationale（核心）：内部推理状态

研究不仅观察最终输出，还读取Transformer各层、各位置的隐藏状态，反映真实内部思考轨迹：

相当于反思：「基于哪个公式推导的？为何在此分支出错？」

Mistakes：逐token精细刻画错误来源

不同于模糊的整体错误衡量，该研究在token级别定位偏差：

• 对比模型与真实分布：

• 构建错误热力图，精确回答：错误从哪个token开始？如何累积放大？

最终，每次训练生成三元组：

• Question：任务语境
• Rationale：内部推理状态
• Mistakes：逐token偏差

T步训练积累T条结构化错题记录：

如何有效利用这些错题本？

作者设计了一个辅助模型Copilot，专门学习主模型的Mistake Log。

Copilot的训练方式

辅助模型输入：任务语境表示与主模型推理中间表示：

，

辅助模型目标：预测主模型各token层面的误差分布，判断哪些位置更易出错及程度大小。

Polit-Copilot协同推理

，

生成过程中，Copilot输出纠错logits与主模型logits融合，实现实时修正。

理论结果：纠错有保障

证明只要Copilot准确预测错误趋势且纠错权重合理，融合后预测误差将严格小于原始模型。

纠错提升，小模型也能「以小博大」

实验验证该方法在多种主流模型和任务上有效。尤其值得注意的是，大模型+小规模Copilot组合显著提升性价比。例如：LLaMA-3.2-3B+3B Copilot（总6B参数）性能超越原始8B LLaMA-3.1-8B。

讨论与展望

该工作系统性定义并探索了大模型训练中的Mistake Log机制。但仅是起点。当前方法多依赖显式思维链和多Agent外部纠错，停留在输出层面。而Mistake Log直接作用于模型内部认知状态。

一个值得研究的问题是：基于模型自身内部状态的「自我反思」，是否比外部文本或代理的纠错更有效？此外，Mistake Log的表示形式、错误模式抽象及Copilot设计均有优化空间。目前方法在稳定性和泛化性上仍有待提升。