从HOPE到MemAgent：大模型长期记忆的突破

近期，Google在发布的论文《Nested Learning: The Illusion of Deep Learning Architectures》中，介绍了一个新框架HOPE，旨在解决大模型长期记忆的问题。

该架构备受瞩目，因为长期记忆一直是困扰大模型发展的难题，更是影响AI成为智能体的关键。

当前，AI可以轻松完成即时任务，但难以在长时间跨度和不同任务间保持对话的连贯性。大模型需要真正拥有「持续工作的智能体」的能力，而非一次性消耗品。

可以说，大模型的「短期能力」决定了其表达能力，但长期记忆则决定了其作为「助手」的资格。

去年最后一天，谷歌研究团队提出了Titans架构，在2025年被频繁讨论。这篇论文并非探讨「上下文能拉多长」的老问题，而是更本质的命题：

当注意力只是短期记忆时，大模型该如何拥有真正的长期记忆。

在Titans中，Transformer的self-attention（自注意力机制）被定义为「短期系统」，而一个独立的神经长期记忆模块则负责跨越上下文窗口、选择性地存储和调用关键信息。这一思路几乎重新定义了大模型的「大脑结构」。

回望这一年，从谷歌Titans到字节MemAgent，再到谷歌Hope架构，大模型的长期记忆取得了实质性突破。

过去一年里，不论是谷歌在此基础上延展出的多时间尺度记忆体系，还是行业里围绕超长上下文、智能体（Agent）记忆、外部记忆中台展开的密集探索，都指向了同一趋势：长期记忆正在从工程补丁，变成大模型能力的核心坐标轴。

模型不再只比拼谁的窗口更长、参数更多，而是开始比拼谁能更有选择性地、更稳定地记忆。大模型的长期记忆不再只是论文里的性能指标，而是决定其能否被长期应用、是否值得信赖的关键能力。

从Titans到Hope：长期记忆为智能体「打基础」

今年8月中旬，谷歌为Gemini推出了两项重大更新：基于聊天上下文的「自动记忆」功能和保护隐私的「临时聊天」模式。

顾名思义，「自动记忆」是指Gemini通过学习用户过去的聊天记录，记忆对话中的关键细节、用户偏好、长期项目背景、反复出现的需求等，并在后续回答中实现主动的个性化回答。

类似的变化不仅限于Gemini。过去一年里，从ChatGPT、豆包到11月推出的讯飞星火X1.5，几乎所有头部AI助手都在通过引入「长期记忆模块」，努力让大模型在跨会话、跨场景中保持连续性，使AI能够更新并记忆用户画像、历史任务状态和关键决策信息。

继续向上追溯，这一波产品层的变化并非孤立发生，而是2025年大模型底层技术演进的直接结果。

首先被重新确认的一点是，长上下文不是大模型记忆的终点。

超长上下文仍然重要，但它被视为一种「放大的短期记忆」——成本高且无法判断哪些信息值得被长期保留。而Titans的意义并不在于拉长窗口，而在于明确区分：注意力只是短期系统，长期记忆必须是一个可持续更新的组件。

11月，谷歌提出将模型训练过程也视为一层记忆（Nested Learning），并给出了升级版的Hope架构。开始将「记忆」理解为多时间尺度的连续体，短期上下文、中期状态、长期经验不再是割裂的模块，而是按更新频率和稳定性分布在同一套学习系统中。

Hope与Titans、Transformer架构对比困惑度（左）和常识推理（右），图片来源：谷歌

与此同时，长期记忆的重心从「记住文本」转向「记住经验」。过去常见的做法是用向量数据库或知识库做RAG，将其视为模型的「外部硬盘」。但现在这种做法正在被重新审视：长期记忆不只是检索答案，还需要参与推理过程，影响模型的决策和行为。

还是在11月，谷歌提出Evo-Memory benchmark和ReMem框架，明确将长期记忆放入智能体的工作流中考察：模型是否能在连续任务中提炼经验、复盘策略，并在后续任务中真正用上。长期记忆不再只为对话服务，而是直接决定智能体是否具备持续进化能力。

事实上，字节跳动与清华联合提出的MemAgent通过强化学习训练模型在超长上下文中「学会取舍」，让模型主动形成长期记忆习惯。这些工作虽然路径不同，但都表明长期记忆必须逐步内化为模型能力。

长期记忆的中国路线：MiniMax/豆包/DeepSeek的不同思路

今年年初，MiniMax宣布了首个线性注意力架构大模型开源。官方指出现有智能体的「长期记忆」大多只是外挂RAG工具。

事实的确如此。在早期实践中，向量数据库加RAG几乎是默认方案：需要记住什么就检索什么。但随着智能体逐渐承担多步骤任务，这种「查完就走」的记忆方式开始显得吃力。

最近豆包手机引爆了业界关于AI手机的讨论。其实豆包在Agent体系中关于长记忆的探索也具有很强的代表性。其长期记忆被拆分进整个工作流中，用于保存用户画像、任务状态、阶段性结论和失败经验。

MemAgent的基本结构

MemAgent这一类方案本质上并非扩展上下文长度，而是在训练模型理解哪些信息会影响下一步决策。简言之，记忆不再是查资料而是参与判断。

从这个角度看，字节与清华联合提出的MemAgent并非孤立的学术工作。它关注的并非如何压缩文本或扩展容量，而是通过强化学习让模型在超长上下文和连续任务中逐渐学会「取舍」。模型需要理解哪些信息值得保留、哪些只适合短期使用甚至哪些应该被主动遗忘。

写在最后

2025年大模型长期记忆真正发生变化的并非某一项指标被刷新而是其角色定位被彻底改写了。从早期依赖RAG的「外接硬盘」到今天逐步进入模型结构与智能体工作流中长...