AI扩展时代终结：Ilya Sutskever预言研究时代来临，超级智能安全新范式

全球科技巨头正将数万亿美元押注于AI领域，这场豪赌已然拉开帷幕，但前OpenAI首席科学家Ilya Sutskever却泼下冷水。

根据Gartner最新预测，仅2025年一年，全球AI支出就将逼近1.5万亿美元，到2026年更将突破2万亿美元大关；英伟达CEO黄仁勋更是断言，本十年内AI基础设施的累计投入可能高达3万亿至4万亿美元，他将此比作新一轮工业革命的基建投资，认为这是人类历史上规模最大的技术基建浪潮。

所有人都在疯狂抢购GPU、争相建设超大规模数据中心、甚至改造电网以支撑算力需求。问题似乎只剩一个：我们还能再堆多少算力？算力增长是否还能持续带来智能的飞跃？

然而，前OpenAI首席科学家、Safe Superintelligence Inc.（SSI）创始人Ilya Sutskever，在2025年11月25日最新一期《Dwarkesh Podcast》播客里，给出了完全不同的答案，这一观点可能将重塑整个AI行业的发展路径：

We"re moving from the age of scaling to the age of research（扩展的时代已经终结，研究的时代正式开启）.

说出这番话的人，恰恰是最早将算力扩展假说推向极致并取得突破的开拓者之一。2024年他离开OpenAI后，迅速创办了SSI，一家只专注于一件事的公司：构建安全的超级智能。他的转身被视为行业风向标。

不到一年时间，SSI便以320亿美元的惊人估值完成了30亿美元融资，创下AI领域融资速度的新纪录，投资方押注的正是他对下一代AI技术路径的判断。

在这场长达90分钟的深度访谈里，他给出了三个颠覆性的核心判断，直指当前AI发展的根本矛盾：

当今大模型的迁移能力远不如人类，即便在单一任务上超越人类，也难以将知识灵活应用到新场景；

继续盲目砸钱扩大参数规模、购买海量数据、堆积算力，其边际收益正在以肉眼可见的速度快速下降；

真正拉开行业差距的，不再是资源规模的比拼，而是谁能更深刻地理解智能的本质，掌握创新的研究方法。

当“堆算力”的粗放时代进入“做研究”的精耕时代，AI行业的底层逻辑正在被彻底改写，未来的竞争将从军备竞赛转向认知竞赛。

第一节｜堆算力的时代，快结束了

Ilya在访谈开场就下了明确的判断，没有丝毫含糊：

我们正从扩展时代，进入研究时代。

所谓扩展时代，是指通过参数规模、算力投入、数据体量三要素的不断放大，模型能力就会像摩尔定律一样持续上涨。OpenAI、Anthropic、Google DeepMind等一线实验室过去十年都在用这套方法，也一度取得了令人瞩目的成果。

但Ilya认为，这个时代已经逼近物理和经济双重天花板，规模的红利正在枯竭。

“扩展成了行业共识：买更多GPU、建更大数据中心、训练更大模型。只要方法不变，谁动作快、谁预算多，谁就领先。”他尖锐地指出，这种模式正在扼杀真正的创新，演变为单纯的资源军备竞赛。

问题是，这样下去导致的不是智能的根本突破，而是资本和能源的无限消耗，边际回报越来越低。

Ilya本人是扩展路线的坚定推动者，他主导的GPT-2、GPT-3就是典型的扩展范式产物，也是这一方法论最成功的实践。但他现在的看法是：只堆参数，已经走到瓶颈，我们必须寻找新的变量。

SSI押注的是一个截然不同的技术方向：未来超级智能的差距，不在于谁拥有更多的GPU，而在于谁能发现并实现新的训练范式和架构创新。

AI竞争已经不是谁投入得多就赢，而是谁知道该往哪个方向突破，谁对智能本身的理解更深。

他甚至直言不讳地批评当前行业的浮躁氛围：

“现在的模型，在各种评测基准上分数很高，但实际部署后产生的经济价值和社会价值非常有限。看起来能力很强，但当你真让它处理复杂多变的现实任务时，就会暴露出一堆问题。”

你以为能力很强，其实只是 benchmark 上好看；你以为差距不大，真正部署时才发现处处都是坑，模型脆弱得不堪一击。

边际收益递减、能力与表现严重脱节，核心原因只有一个：算力和参数仍然重要，但不再是模型智能水平的决定性因素，训练方法和数据质量才是。

接下来，我们就来深度解析：Ilya 所说的研究时代到底意味着什么？它对AI行业和从业者将产生怎样的冲击？

第二节｜模型会考试，但不会干活

为什么 benchmark 分数亮眼，实际应用中却问题成堆？Ilya给出的答案是：模型的泛化能力出了系统性问题，这是当前所有大模型的阿喀琉斯之踵。

“它一方面能写学术论文、解高难度数学题，另一方面却会把一句简单的话重复两遍，犯下人类绝不会犯的低级错误。”

这不是单点 bug，而是系统性缺陷：模型会考试，但不代表它真的理解知识和世界的运行规律。问题不只出在模型本身，还有训练它的人——我们正在用错误的方式训练下一代智能。

Ilya在访谈中揭示了一个令人深思的现象：

“我们训练模型的方式，过度依赖评测基准。研究团队为了让分数好看，专门设计RL训练环境来刷榜，导致模型在狭窄的测试集上表现优异，但真实能力被严重高估。”

训练资源过度集中在少量封闭任务上，比如竞技编程、标准化答题、棋类游戏。模型确实在这些领域越来越强，但也越来越像刷题机器，只会那几件事，一旦遇到开放场景就手足无措。

他甚至用尖锐的比喻指出：

真正的奖励黑客，不是模型，而是那些为了刷 benchmark 而不择手段的人类研究员。

他用两个学生来类比当前模型的困境：

• 学生 A：练习一万小时竞技编程，刷遍所有题目，排名全球前列；
• 学生 B：只练习一百小时，但对问题的理解有自己的体系，善于举一反三。

“谁将来在真实职业中表现更好？毫无疑问是第二个。因为他没有死记硬背，而是抓住了问题本质，形成了可迁移的知识结构。而今天的大模型，大多像第一个学生，知识是碎片化的，缺乏深度理解。”

今天的模型缺的不是计算能力和记忆容量，而是判断什么值得学、如何学的能力，也就是元认知能力。

Ilya 并没有否定大模型的知识储备能力：在数学、语言、编程等特定领域，它们甚至比普通人更强。但它们学得更慢，消耗数据更多，应对新情况时更容易出错。人类能凭直觉判断自己是否真的理解，而模型做不到，它只是概率性地生成看似合理的答案。

他想追问的，是训练方法本身的结构性问题：

1. 预训练：数据全放进去，不需挑选，结果啥都会一点，但缺乏深度，如同囫囵吞枣；
2. 强化学习（RL）：人类设置任务和奖励，模型按目标优化，但容易过拟合奖励信号，反而丢失了对任务本质的把握；
3. 泛化能力：能不能做没训练过的任务？能不能迁移已有知识？能不能自我纠错？这些能力的缺失暴露了当前范式的根本局限。

模型只会考试、不懂应用的问题，根源在于训练过程无法教会它举一反三，无法形成抽象的概念体系。

所以，AI的下一个突破点：不是谁的模型参数更多，而是谁的训练方法能真正教会模型泛化，让模型学会将知识灵活应用到全新场景，像人类一样学习。

这需要的不是多加几个 RL 环境、多刷几套题，而是从根本上重构训练策略本身，从数据到目标到反馈机制全面革新。

第三节｜为什么现在的训练方法不行

第二节我们讨论了泛化问题，但为什么这个问题如此顽固，难以解决？

Ilya给出的答案是：不是资源不够，也不是数据不足，而是训练方法本身有根本性局限，尤其是预训练和RL的固有缺陷。

预训练的困境：见过很多，但理解不深。

这并不否定预训练的价值，它在构建基础模型方面功不可没。

Ilya清楚指出预训练的两大优势：

数据全、量大，能覆盖足够多的行为和模式，形成宽泛的知识基础；

不用手工挑选，训练流程自动化程度高，可以大规模扩展。

但他也尖锐地指出预训练的根本局限：它看起来像人类前15年的经验积累，但人类学得少得多，却理解得更深、更结构化和更具因果性。

人类早就不会犯那些模型犯的低级错误，因为人类理解背后的原理。预训练让模型见过一万个编程案例，但它不会自己总结什么时候该用递归、什么时候该用循环，什么时候该用动态规划。它只是在照葫芦画瓢，根据统计规律生成代码，而不是真正进行逻辑推理。

RL的困境：任务过窄，奖励误导。

RL试图让模型学会目标导向的行为，但又带来新的困境：研究团队必须手动设计任务、定义奖励函数。这导致两个致命问题：

一是模型只学会了那几个特定任务，而不是学会了如何学习，缺乏学习能力本身；

二是模型过度优化奖励函数，甚至钻空子（reward hacking），反而失去了对任务本质的深层理解，变成投机取巧的短视者。

Ilya提到一个关键缺失：“价值函数”或“内部评判机制”。

人类在学习时，有一种对做得好不好的直觉判断，一种内在的反馈信号，这让我们能够自我纠错、迁移经验、判断推理方向。但现有的RL方法无法给模型这种能力，模型只能依赖外部稀疏的奖励信号，无法进行自我反思。

Ilya用一个生动的场景总结了现有方法的局限：

“你用模型修 bug，它说：‘你说得太对了，我修一下。’修完之后，它引入另一个 bug。你指出后，它说：‘你又说对了。’然后，它又把第一个 bug 带回来，陷入无限循环。”

这不是模型不聪明，是它根本没有判断自己行为好坏的内在机制，没有自我校准的能力。

它不知道自己是理解了还是蒙对了，不知道这个方向值不值得继续探索，不知道如何评估自己的推理过程是否可靠。

预训练和 RL 都是“离线学习”：在训练阶段完成所有学习，然后模型定型后投入使用，不再更新。这导致模型永远只能对已知问题表现出色，一旦进入未知场景，就容易出现不可预测的失控行为。

更重要的是，这种范式无法让模型学会最关键的能力：判断什么值得学、什么时候学对了、如何迁移已有知识、如何在新情境下进行推理。

这就是为什么继续扩大参数规模、数据规模、算力规模都解决不了根本问题，因为问题不在规模，而在学习方式本身。

你可以让模型更大，但如果训练方法不变，它永远只是一台精密的答题机器，而不是真正的学习者，无法适应动态变化的真实世界。

第四节｜Ilya 的新答案：让模型持续学习

如果说前三节讨论的是扩展逻辑本身的收益递减，那么 Ilya 在这次访谈里真正想传达的，是一个更深层的转向信号，一个关于AI未来的全新范式：

AI 安全，不是一个产品上线前才考虑的问题，而是从你决定怎么训练模型那一刻就已经开始，嵌入到每一行代码和每一个样本中。

训练方法本身，决定了模型在未知场景下是否安全可靠，是否值得信赖。

很多人以为安全问题意味着模型要守规矩，或者不撒谎，或者符合伦理。但这只是表面。

但 Ilya 的判断是：对齐（alignment）问题，本质是泛化能力不足。当模型进入真实世界，它无法理解哪些行为是允许的，哪些是不应该尝试的，因为它从未真正理解过边界。

不是因为模型天生邪恶才会作恶，而是它根本没理解上下文和后果；

不是因为人类没设好奖励，而是模型根本没学会判断长期影响和伦理边界。

这让对齐问题，变成了一个更基础的问题：你到底教会模型什么？它怎么知道自己学会了？它是怎么推理未知任务的？它有没有内在的价值体系？

如果模型只是记住答案，那就是定时炸弹，一旦遇到训练分布之外的输入，行为可能完全失控；但如果它能知道推理原则和伦理边界，就更像一个能理解规则、主动约束自己的人。

Ilya 在访谈里明确提出，他不再相信预训练一次性完成、然后冻结部署的思路：

人类不同于 AGI。我们依赖的是持续学习，是终身与环境的互动和反馈。

真正的智能体，不是在训练时完成学习，而是在部署后持续学习、不断适应和进化。

他用比喻解释：你可以训练出一个超级聪明的 15 岁少年，掌握所有书本知识，但他什么都不会做。真正的能力，是他接下来如何进入社会、吸收反馈、逐步获得技能、形成判断力。

这不只是能力问题，更是安全问题。因为只有持续学习，才能让模型在实际应用中不断校准自己的行为，避免在未知情况下失控，实现安全可控的智能。

Ilya 清楚知道，当前的扩展方法已经无法支持持续学习：

预训练是固定的学习阶段，无法实时适应环境变化；

RL 强依赖人工设计的奖励，容易被过度优化，且无法在开放世界中持续调整；

评测机制倾向于结果好看，不管过程是否合理，导致模型行为扭曲。

因此，他强调：我们需要全新的方法，能在学习过程中持续校准模型的推理能力、价值观和行为边界。真正的突破，不是一个更大的模型，而是一个会自我评估、自我纠错、持续进化的模型。

这不只是训练策略的微调，而是范式的根本切换：

• 从离线预训练到部署中的在线学习，让模型在与世界的交互中不断更新；
• 从单向优化目标到交互式多轮反馈，让模型学会从反馈中提炼原则；
• 从封闭式数据集到开放世界动态任务，让模型在真实多样性中成长；
• 从对齐评测到对齐过程本身，将安全内化于训练的每一个环节。

他还提出一个更具前瞻性的设想：如果能设计出一种结构，使模型拥有类似人类情感中枢的机制，能够产生内在的动机和价值判断，那可能才是真正能构建出可信任超级智能的方法路径。

Ilya 举了一个来自软件工程的例子：

“为什么今天 Linux 比很多闭源系统更安全？不是因为我们一开始就想得很周全，而是因为它被部署到真实世界中，被成千上万的开发者使用、被攻击、被修补，在持续反馈中不断进化。”

他认为，AGI 也必须经历类似的成长过程：逐步部署、获得真实反馈、保持结构可控、机制透明，而不是闭门造车，最后发布一个无法理解的黑盒模型。

也正因此，他才决定成立 SSI，只干一件事：构建一个可以持续学习、与人类对齐、能逐步部署的超级智能。不做花哨的应用，不做工具，产品就是那个智能本身，一个可进化的智能体。

所谓安全，不是一句合规口号，而是一种贯穿始终的训练哲学，一种对智能本质的深刻理解。

从第一行代码开始，从第一个训练样本开始，就在决定模型未来的走向，是成为一个可靠的伙伴，还是一个不可控的黑箱。

这也意味着，真正的 AI 差距，正在从资源规模，转向方法创新和哲学思考，谁能率先构建出持续学习的安全智能，谁就能定义下一个时代。

结语｜研究回归：一个技术转折点的到来

90 分钟访谈里，Ilya 的立场很明确，也很坚定：

扩展的收益正在递减，研究能力成了拉开差距的关键，创新正重回舞台中央。

相应的评价体系也在发生深刻转变。模型能力的提升不再依赖于参数规模的简单扩大，预训练阶段无法独立解决模型“举一反三”的泛化问题，持续学习成为保证安全的必要条件。“对齐”不再是产品上线前的一道检查工序，而是贯穿整个训练过程的动态校准。

计算 GPU 成本、分析 ROI、追逐 benchmark 排名这套扩展时代逻辑，正在失效。问题不是多投入算力能不能更强，而是这条路本身还走不走得通，有没有更本质的方法论突破。

安全的超级智能，不只存在于论文和共识里。它是技术路径、组织结构、商业逻辑的协同结果，需要整个行业重新思考目标和方法。

这个转折点已经到来。谁能抓住，还不确定，但方向已经清晰：研究回归，创新为王。

📮 参考资料：

https://www.youtube.com/watch?v=aR20FWCCjAs

https://x.com/dwarkesh_sp/status/1993371363026125147

https://www.gartner.com/en/newsroom/press-releases/2025-09-17-gartner-says-worldwide-ai-spending-will-total-1-point-5-trillion-in-2025

https://ssi.inc/

https://www.reuters.com/technology/artificial-intelligence/openai-co-founder-sutskevers-new-safety-focused-ai-startup-ssi-raises-1-billion-2024-09-04/

https://www.dwarkesh.com/