推理模型即将退役?
顶尖GPT-5模型竟被一篇博士论文突袭,上下文窗口被甩出两个数量级。
新方案在处理长文本时,“上下文腐烂”现象也大幅减少,而且成本更低。
这是MIT最新论文提出的“套娃模型”新范式,预测将成为今年的主流。
“套娃模型”正式名称为递归模型,核心流程是将文本存入代码环境,让模型编写程序拆解并递归调用自身处理。
有网友评价说,递归模型不仅节省Token,更是在改变交互方式。
从各项指标来看,推理模型,似乎真的不香了。
递归语言模型(RLM)不再将长文本直接输入神经网络,而是采用一种“环境化”的处理范式。
核心逻辑在于将自然语言处理任务重构为交互式编程任务,引入Python REPL(读取-求值-输出循环)环境,将超长文本作为静态字符串变量存储在内存中。
在具体执行流程中,RLM建立了一套基于代码的认知循环。
系统接收长文本任务后,启动Python环境并将文本载入变量P,随后模型进入迭代循环,观察环境状态,编写代码探测文本。
这些代码在REPL环境中执行后,运行结果反馈模型。
“编写代码-观察执行结果”的循环,使模型以极低计算成本在庞大文本数据中索引和定位,仅在必要时读取关键段落,实现高效上下文管理。
实验数据显示,RLM有效处理规模已达1000万Token级别,超出GPT-5等前沿模型原生上下文窗口两个数量级。
由于RLM将Prompt视为外部环境,选择性读取相关片段,而非全量摄入,因此改变了“上下文越长成本越高”的线性规律。
本文第一作者为MIT CASIL实验室博士生Alex Zhang。
本文由主机测评网于2026-06-05发表在主机测评网_免费VPS_免费云服务器_免费独立服务器,如有疑问,请联系我们。
本文链接:https://www.vpshk.cn/20260647443.html