小网络大智慧：三星提出TRM递归推理架构挑战大型模型

三星SAIL蒙特利尔实验室的研究团队最近发表了一篇名为《Less is More: Recursive Reasoning with Tiny Networks》的论文，他们提出了一种名为Tiny Recursive Model（TRM）的新型递归推理架构。

研究表明，TRM在推理任务上的表现甚至超越了某些大型语言模型。

TRM仅使用700万参数和两层神经网络，就在多项高难度任务中超越了DeepSeek R1、Gemini 2.5 Pro、O3-mini等模型。

在架构上，TRM摒弃了自注意力层（TRM-MLP变体除外；TRM-Att仍含自注意力层）。论文指出，对于小规模固定输入任务，MLP可以减少过拟合。此外，当上下文长度较短时，注意力机制反而是一种浪费。在Sudoku、Maze-Hard等任务中，TRM使用纯MLP结构优于基于Transformer的模型。

TRM通过不断在“答案y”和“潜在思考变量z”之间递归更新，实现了小参数模型的多轮自我修正推理。

传统大模型依赖链式思维生成推理步骤，但这种方法成本高且容易累积错误。相比之下，TRM通过递归地更新“答案”和“潜在思考变量”，让模型在多轮自我修正中逼近正确结果。

论文总结：“TRM以极小的规模实现了前所未有的泛化能力。”在ARC-AGI推理基准上，TRM获得45%（ARC-AGI-1）与8%（ARC-AGI-2）的准确率，高于多数大型模型。在Sudoku-Extreme任务上，其准确率更是达到87.4%，刷新了纪录。

研究团队称，这种结构的核心逻辑是“递归即深度”：深度递归可替代增加层数，模型不需更多层数，只需反复思考。

推理机制重构：少即是多

TRM的设计源自对上一代Hierarchical Reasoning Model（HRM）的反思。

HRM模型在两种不同频率下递归更新潜变量𝑧𝐿与𝑧𝐻的过程，通过先无梯度、后带梯度的双阶段循环，实现高低频递归推理的结合。然而，其训练过程复杂且依赖固定点理论和生物学假设。

相比之下，TRM彻底放弃这些理论假设，研究发现单一网络加深度监督即可实现相同甚至更好的推理效果。

模型通过多次前向递归更新内部潜变量z与当前答案y，让推理链条在每一步收敛得更准。与HRM相比，TRM的参数量减少了约74%，单步前向次数减半，同时提升了准确率。

实验结果表明，TRM不仅在性能上反超HRM，更在泛化能力与效率比上建立了新标准。

在Sudoku-Extreme上，它以5M参数实现87.4%准确率；

在Maze-Hard任务上，以7M参数实现85.3%；

在ARC-AGI系列测试中，表现超过Gemini 2.5 Pro与DeepSeek R1等大模型。

研究团队将这一成果概括为：“以递归取代规模，以思考取代堆叠。”论文分析认为，大模型在生成式推理中往往容易被一次性错误放大，而TRM通过循环式的自我修正，将推理划分为多个小步，显著降低误差传播。这种结构在小样本条件下尤为有效。

此外，作者还发现两层网络的泛化能力优于更深模型。当层数增加到四层或以上时，性能反而下降，原因在于过拟合。团队引入指数移动平均（EMA）以稳定训练，使模型在小数据集上保持一致收敛。

研究指出，这种方法提供了一条新的“轻量AI推理路线”：当算力与数据受限时，小模型通过递归学习仍可实现复杂思维行为。这为未来的边缘AI与低资源应用提供了方向。智能的深度，不一定来自规模，而可能来自重复思考。

注：头图AI生成