唐杰教授谈AI：基座模型、Agent与未来应用趋势

清华大学教授唐杰近日在微博上分享了他对人工智能发展的深刻见解，内容极具启发性～

总共八个要点，虽非长篇大论，但每一观点都扎实深刻：

• 基座模型持续扩展规模仍能高效提升性能；
• 若想进一步提升真实使用体验，必须解决长尾能力的对齐与推理增强问题；
• Agent标志着模型开始融入环境，真正形成生产力；
• 一旦模型进入持续交互场景，记忆机制、在线学习和自我评估将成为核心工程挑战，而非可有可无的选项；
• AI的终极目标必然是替代人类完成工作，创造增量价值；
• 领域大模型的概念其实是个伪命题；
• ……

唐杰表示，发布这些感悟旨在分享思考，希望对读者有所启发。

现以推文形式刊载，供大家广泛传阅与讨论。

01，关于Scaling基座模型

预训练使大模型掌握了世界范围内的常识性知识，并具备了初步推理能力。

更多数据、更大参数规模以及更充分的计算仍然是提升基座模型性能的最有效途径。

02，关于激活对齐与增强推理能力

激活对齐和增强推理能力，尤其是激活更全面的长尾能力，是确保模型效果的另一关键。通用评测基准虽然评估了模型的通用性能，但也可能导致许多模型过拟合。

在真实场景中，关键在于如何让模型更快、更好地对齐长尾的真实需求，从而提升实际体验。

中期训练和后训练使得多场景快速对齐和强推理能力成为可能。

03，关于Agent

Agent是模型能力扩展的重要里程碑，也是AI模型进入人类真实（虚拟/物理）世界的关键体现。

没有Agent能力，大模型将停留在理论积累阶段，好比一个人即使读到博士，也只是知识储备，尚未转化为生产力。

过去的Agent通过模型应用来实现，而现在模型已经可以直接将Agent数据集成到训练过程，从而增强通用性。真正的难题在于不同Agent环境的泛化和迁移并不容易，因此最直接的方法仍是不断增加不同Agent环境的数据，并针对不同环境进行强化学习。

04，关于模型记忆

实现模型记忆已成为必要任务，这是模型应用于真实环境的必备能力。

人类记忆分为短期（前额叶）、中期（海马体）、长期（分布式大脑皮层）以及人类历史（维基百科或史书）四个阶段。

大模型如何实现不同阶段的记忆是关键。上下文（context）、检索增强生成（RAG）和模型参数可能分别对应人类的不同记忆阶段。一种方法是压缩记忆，简单存在context中。如果大模型能支持足够长的context，就有可能实现短中长期的记忆。

但如何迭代模型知识、更改模型参数仍是一个难题。

05，关于在线学习与自我评估

在线学习与自我评估。

有了记忆机制，在线学习成为重点。目前大模型采用定时重新训练，但这存在几个问题：

模型无法真正自我迭代，而自学习自迭代必然是下一阶段的能力；

重新训练较为浪费，同时会丢失许多交互数据。

因此，实现在线学习是关键，而自我评估则是在线学习的核心。模型要想自我学习，首先需要知道自己判断的对错（哪怕只是概率性知道），这样才能明确优化目标，实现自我改进。

因此，构建模型的自我评价机制是一个难题。

这可能是下一个Scaling范式。

持续学习/实时学习/在线学习？

06，关于模型研发与应用结合

最后，大模型的发展越来越趋向端到端，必然要将模型研发与应用紧密结合。

AI模型应用的第一性原理不应该是创造新的App，其本质是AGI替代人类工作，因此研发替代不同工种的AI是应用的关键。

Chat部分替代了搜索功能，部分则融合了情感交互。

明年将是AI替代不同工种的爆发之年。

07，关于多模态与具身智能

最后提及多模态和具身智能。

多模态无疑是未来发展方向且前景广阔，但当前的问题是多模态对提升AGI的智能上限帮助有限，而通用AGI的智能上限尚不明确。

可能最有效的方式仍是分开发展：文本、多模态、多模态生成各自推进。

当然，适度探索三者的结合定能发现一些独特能力，这需要勇气和雄厚的资本支持。

同理，理解Agent就能明白具身智能的痛点所在——通用性太难（尽管未必绝对），但至少小样本激活通用具身能力几乎不可能。

那么怎么办？采集数据或合成数据，都不容易，且成本高昂。

但反过来，一旦数据规模上去，通用能力形成，自然会筑起门槛。

当然这仅是智能层面的难题，对于具身智能，机器人本身也存在问题：不稳定、故障频繁，这些都限制了具身智能的发展。

预计到2026年，这些方面都将取得长足进步。

08，关于领域大模型与大模型应用

也讨论一下领域大模型和大模型应用。

我一直认为领域大模型是个伪命题，既然要追求AGI，哪有什么domain-specific AGI……

但AGI尚未实现，领域模型会长期存在（具体多长不好说，AI发展实在太快）。

领域模型的存在，本质上是应用企业不愿在AI企业面前认输，希望构建领域知识壁垒，不希望AI入侵，想把AI驯化为工具。

而AI的本质是海啸，所到之处将一切席卷，一定会有一些领域公司突破护城河，自然融入AGI的世界。

简言之，领域的数据、流程、Agent数据都会逐渐进入主模型。

而大模型的应用也应回归第一性原理：AI不需要创造新的应用。

AI的本质是模拟人、替代人或帮助人完成某些人类必需的职能（某些工种）。

可能就两种：一是AI化原有软件，将需要人参与的部分改为AI；二是创造对齐人类某个工种的AI软件，直接替代人类工作。

因此，大模型应用必须帮助人类、创造新价值。

如果做一个AI软件无人使用、无法产生价值，那它肯定没有生命力。

参考链接：https://weibo.com/2126427211/5247011059141988