AI时代新转折：从扩展迈向研究

一场前所未有的科技赌注，已经悄然下注。

据Gartner预测，到2025年，全球AI支出将接近1.5万亿美元，而2026年更将突破2万亿美元。英伟达CEO黄仁勋更是大胆断言，本十年AI基础设施的总投入可能高达3万亿到4万亿美元，这标志着新工业革命的曙光。

从GPU的争夺到数据中心的建立，再到电网的铺设，似乎一切准备就绪。然而，问题也随之而来：我们还能继续堆砌多少算力？

前OpenAI首席科学家、Safe Superintelligence Inc.（SSI）创始人Ilya Sutskever，在最新一期《Dwarkesh Podcast》中给出了不同的答案：

我们正在从扩展的时代迈向研究的时代。

作为早期将算力假说推向极致的先驱之一，Ilya在离开OpenAI后创立了SSI，一家专注于安全超级智能的公司。不到一年时间，SSI便以320亿美元的估值完成了30亿美元的融资。

在这90分钟的访谈中，Ilya提出了三个核心观点：

当前大模型的迁移能力远不及人类；

继续投入参数、数据和算力，边际收益正在迅速下降；

真正拉开行业差距的，不是谁拥有更多资源，而是谁更懂得如何进行研究。

当“堆砌算力”的时代逐渐让位于“深入研究”的时代，AI行业的底层逻辑正在经历一场深刻的变革。

第一节｜堆算力的时代，渐入尾声

Ilya首先做出了判断：

我们正从一个扩展的时代，走向一个研究的时代。

所谓的扩展时代，是指通过不断放大参数、算力和数据三要素，模型能力就会持续提升。OpenAI、Anthropic、Google DeepMind等一线实验室都在采用这一方法，并取得了一定的成效。

但Ilya认为，这一时代已经接近极限。

“扩展已成为行业共识：购买更多GPU、建设更大数据中心、训练更大模型。只要方法不变，谁行动更快、预算更多，谁就领先。”

然而，这导致的不是创新，而是资源军备竞赛。

尽管Ilya曾是扩展路线的坚定支持者，他主导的GPT-2、GPT-3就是典型的扩展范式产物。但现在他坚信：仅靠堆砌参数，已经走到瓶颈。

SSI的赌注在于一个技术方向：未来超级智能的差距，不在于谁拥有更多GPU，而在于谁能找到新的训练方法。

AI的胜负已不再是投入多少的问题，而是知道如何突破。

第二节｜模型会考试，但不会干活

为什么模型在benchmark上表现优异，实际却问题频出？Ilya给出的答案是：模型的泛化能力出了问题。

“它能写论文、解数学题，却会把一句话重复两遍。”

这不是单一的bug，而是系统性的缺陷：模型会考试，但并不代表它真正理解。问题不仅出在模型本身，还有训练它的人。

Ilya提到一个现象：

“我们训练模型的方式过于依赖评测基准。研究团队为了让分数好看，专门设计RL训练环境来刷榜。”

训练资源过度集中在少数任务上，如竞技编程、标准化答题。模型确实越来越强，但也越来越像刷题机器，只会那几件事。

“真正的奖励黑客不是模型，而是刷benchmark的人类研究员。”

他用两个学生来类比：

• 学生A：练习一万小时竞技编程，刷遍所有题目；
• 学生B：只练习一百小时，但对问题的理解有自己的体系。

“谁将来在真实职业中表现更好？无疑是第二个。因为他没有死记硬背，而是抓住了问题的本质。而今天的大模型大多像第一个学生。”

今天的模型缺的不是能力，而是判断什么值得学的能力。

第三节｜为什么现有的训练方法行不通

第二节讨论了泛化问题，但为什么这个问题这么难解决？

Ilya给出的答案是：不是资源不够，而是训练方法本身有根本性局限。预训练的困境在于：见过很多，但理解不深。

“这并非否定预训练的价值。”

“预训练有两个优势：数据全、量大；不用手工挑选，训练流程自动化程度高。”

“但它也有根本局限：它看起来像是人类前15年的经验积累，但人类学得少得多，却理解得更深。”

第四节｜Ilya的新答案：让模型持续学习

“AI安全不是一个产品上线前才考虑的问题。”

“而是从你决定怎么训练模型的那一刻就已经开始。”