清华团队破解AI遗忘难题：任务关系引导持续学习

清华团队利用「任务关系」破解AI学完就忘的难题，其提出的H-embedding引导的超网络（Hypernetwork）框架，先计算新旧任务的亲疏关系，再让超网络根据这些关系生成专属模型参数，利用低维小向量即插即用，在ImageNet-R等测试中，将遗忘率再降一成。

持续学习（Continual Learning，CL）是人工智能系统迈向长期智能的关键能力。其核心目标是在任务序列中，模型能够不断吸收新知识，同时维持或提升旧任务的表现。

然而，在主流深度学习框架下，模型在学习新任务时往往会显著遗忘旧知识，即「灾难性遗忘」（Catastrophic Forgetting），这是限制持续学习走向大规模实用的关键瓶颈。

现有CL方法大致可分为三类：基于数据回放的重放方法、基于参数约束的正则化方法，以及基于模型结构的动态扩展方法。尽管这些方法都在不同程度上缓解了遗忘问题，但一个根本问题始终被忽视：

大多数CL方法仍从「模型中心」视角出发，而缺乏对任务之间内在关系的建模和利用。

然而，任务关系直接决定了知识迁移的方向与效率：哪些任务之间协同度高，哪些任务之间冲突大，哪些旧任务对新任务有帮助，哪些新任务可能破坏已有能力——这些信息对于稳健的持续学习至关重要。

为解决这一长期存在的空白，清华大学研究提出了一种「任务关系中心」（task-relation-centric）的新型CL方案：H-embedding引导的超网络（Hypernetwork）持续学习框架。

论文链接：https://arxiv.org/pdf/2502.11609

该框架的核心思想是：在每次学习新任务前，通过信息论度量构建可迁移性感知的任务嵌入H-embedding，并利用超网络根据嵌入生成任务专属参数，从而显式地在CL过程中编码任务关系。

方法动机：任务关系应成为CL的显式指导信息

在典型CL设置中，模型只能在训练新任务之后，基于参数变化做「事后分析」，来判断任务之间的干扰和迁移。

这种模式存在三大问题：

1. 缺乏任务级先验，模型无法在训练开始前规划迁移路径

模型既不知道哪些旧任务对当前任务有帮助，也不知道哪些知识需要重点保护。

2. 正向和后向迁移难以被同时优化

传统方法常只能顾其一：强正则化减少遗忘，但削弱新任务学习能力；强学习新任务提升前向迁移，却导致显著遗忘。

3. 随着任务数量增长，干扰累积，使方法难以扩展

因此，研究团队引入了「任务关系中心」的设计思路，将任务可迁移性转化为可学习的先验信息，并直接驱动参数生成与知识保护策略。

核心贡献

提出H-embedding：基于H-score的任务可迁移性嵌入

团队采用信息论指标H-score来表征从任一旧任务到当前任务的迁移价值。H-score 能反映源任务特征对目标任务的有效性，是一种在实际场景中可高效计算的可迁移性度量。

提出由H-embedding驱动的超网络参数生成框架

该框架使用超网络（Hypernetwork）根据任务嵌入，为每个任务生成其专属参数。更重要的是，模型内部引入了一个轻量级解码器，通过重构 H-embedding 的方式迫使超网络显式地吸收任务关系。

高可用性：可端到端训练，兼容多种参数高效微调技术

该框架具有极强的工程可落地性：

• 每个任务仅需保存一个embedding（极低存储成本）
• 支持CNN、ViT等主流架构
• 可与LoRA等参数高效微调技术结合并部署在多种预训练模型上

实验结果：在多项CL基准上全面领先

结果显示：

• FAA全面领先现有方法，在所有数据集上均取得更优的最终性能。
• 强正向与后向迁移能力同时出现。DAA与FAA差值极小，表明新任务学习对旧任务几乎无干扰。
• 算法对任务数量增长具有更高鲁棒性。在5→10→20个任务的扩展实验中，该方法的性能增益持续放大。
• 消融实验验证组件有效性。去除H-embedding引导或AHP归一化均会出现明显性能下降。

结论与展望

研究人员提出了一种「任务关系中心」的持续学习范式，通过在训练前引入信息论驱动的任务关系嵌入 H-embedding，使得模型能够：

• 预测迁移性而非被动适应
• 在学习过程中有意识地管理任务间的知识交互
• 大幅减少遗忘、提升迁移效率

H-embedding引导的超网络框架在多个基准上取得领先表现，展示了任务关系建模在持续学习中的关键作用。

未来，任务结构感知的方法有望拓展至跨模态增量学习、大模型的长期任务适配、任务自组织（task discovery）与自动化学习顺序规划等更复杂场景。为构建更具扩展性、可生长的通用 AI 体系提供新的方向。

参考资料：