大模型“记忆过载”：无法遗忘导致检索失效

大模型遭遇记忆挑战，无法遗忘旧信息，影响新信息检索！工作记忆测试揭示，大型语言模型（LLM）在上下文检索中存在局限。在一项人类能轻松应对的简单检索任务中，模型却会混淆无关信息与正确答案。

人们逐渐认识到，在大语言模型（LLM）中，“找信息”并非简单的字典查找，而是与“写信息”的能力紧密相连。

通常认为，为模型提供更长上下文能提升检索准确性，但上下文内部存在“相互干扰”，这一现象却鲜有研究。

为了探究这一问题，弗吉尼亚大学和纽约大学神经科学中心的研究人员引入了心理学中的“前摄干扰”概念：先接收的信息会妨碍后续内容的回忆。

在人类身上，这种干扰越强，往往意味着工作记忆容量越小。

研究团队设计了一个新测试PI-LLM，像播放连续剧一样，将一组语义相关的“键—值”对（如“key苹果，value红色”）依次呈现给模型，并不断更新这些值；最后询问模型某个键对应的最新值是什么。

尽管最新值就在提问前一句话中，但随着前面干扰项的增加，模型的正确率却以对数速度下降，主要错误源于模型将旧值误认为是新答案。

研究人员尝试使用提示工程，如明确告诉模型“请忽略前面所有旧信息”，但效果有限。

这表明，LLM面对干扰时，不仅存在“读到”或“读不到”的问题，还像人类一样存在“工作记忆瓶颈”：即使上下文触手可及，它们也难以灵活压制无关信息。

论文链接： https://arxiv.org/abs/2506.08184

仓库链接： https://github.com/zhuangziGiantfish/Unable-to-Forget

交互式演示： https://zhuangzigiantfish.github.io/Unable-to-Forget/

这篇论文揭示了一个影响所有大语言模型（LLM）的信息检索问题。该任务对人类没有难度，但所有LLM均出现显著错误，对全局记忆和长推理任务造成显著损害。

论文已被ICML 2025 Workshop on Long Context Foundation Models接收。

该研究由王楚培（弗吉尼亚大学物理学士，具哲学背景的跨学科研究者）与孙嘉秋（纽约大学神经科学中心博士生，师从上海纽约大学神经与认知科学副教授-纽约大学全球特聘副教授田兴）共同主导。两位作者分别具备物理、建筑与哲学的多元背景，致力于从认知系统崩溃点探索智能本质。

郑喆阳（Flatiron Institute CCN 客座研究员、纽约大学博士生）与邝一伦（纽约大学 CILVR Lab 博士生，导师：Yann LeCun）在项目的发起与推进过程中，提供了关键性的咨询和建议。

实验核心设定

任务数据input

假设给模型一串常见的动态更新的数据(key-value pair)，比如：“Blood Pressure=120, Bp=135, Bp=119”

LLM任务Query

血压（BP）的最后一个数值(value)是多少？

结果

目前所有主流LLM（从最新的GPT-4.1、Llama-4、DeepSeek-V3，到Llama-3、Qwen-2.5等，参数规模从0.6B到600B+不等）都无法稳定地提取最后一个数值，错误方式呈现出明确的数学规律呈现对数下降。

讨论

对人类来说，这个任务非常简单，答案显而易见是最后一个值119。因为本任务没有搜索难度。这种任务模式在金融（账户余额变化）、医疗（生理指标跟踪）等所有需要追踪动态数据的领域中都极为常见。

实验结果

核心发现：普适的衰减曲线

随着更新次数增加，所有模型的准确率都呈现一致的对数线性下降（log-linear decline）。随着干扰增多，准确率最终稳定地降至0%。此时，所有模型彻底失灵，100%产生幻觉（hallucination），100%无法给出正确答案。这种一致的衰减模式跨越了模型架构、规模和训练资源的差异，强烈暗示问题的根源可能位于Transformer架构或其所依赖的注意力机制等基础层面。

当语言模型需要在大量语义相似的干扰项之后检索特定目标信息时，其检索准确率会显著且持续地降低，这种对数线性下降趋势在所有主流模型中均被观察到。

实验设置

测试中要求模型处理1到46个不同的Key，每个Key的更新次数在1到400次之间。随机、乱序混合这些更新后，模型正确提取每个key的last value（最新值）的正确率。

与人类对比

这一任务的设计本质上非常简单：不涉及复杂的搜索和逻辑难度。人类可以轻松调整注意力，只关注最新信息，受上文内容干扰程度有限。分析错误答案显示，模型经常错误地提取了无关的上文更新值作为最终答案，这表明当前的LLM在处理此类信息流时难以有效忽略或过滤掉非目标（旧）信息。进一步的错误分布分析揭示，LLM表现出类似有限工作记忆容量的行为模式：它们似乎在有限的表征空间内记录键值对，一旦更新次数超出该容量，检索性能便会彻底失效。

现象解读：「Unable to Forget」

大模型无法忽略或者忘记无关信息，从而造成彻底搜索失效。尤为反直觉的是，即使采用最直观的自然语言干预策略，例如明确提示答案所在区域或直接告诉模型“专注最新更新”或“忘记之前信息”，也无法显著改善模型表现。这说明干扰效应强大到足以覆盖明确的自然语言指令，迫使模型不得不关注旧信息。由此可以知道，要对抗干扰，很可能需要对模型架构本身或训练范式进行根本性调整，而非仅依赖提示工程。

LLM为何难以稳定提取最新信息？

对错误的分析表示，LLM的失败并非随机失误，而是系统性地受到反复更新的影响。随着干扰量的增加，错误呈现清晰的阶段性演变：初期邻近干扰占主导；中期干扰范围扩散；后期彻底混乱。这些现象均会对LLM检索任务准确性造成显著影响。