AI架构瓶颈：探索下一代智能的突破

在2025年12月18日，腾讯ConTech大会暨腾讯科技Hi Tech Day正式播出，中国工程院院士、知名专家和学者、头部科技企业创始人及知名投资人齐聚一堂，共同探讨智能时代的机遇与挑战。

在圆桌论坛环节，当主持人把话筒递给阶跃星辰首席科学家张祥雨，询问关于模型架构未来时，这位学术大牛抛出了一枚“深水炸弹”：现有的Transformer架构无法支撑下一代Agent。

李飞飞，斯坦福大学教授，被誉为“AI教母”，在深度访谈中指出：现有的Transformer架构可能难以产生如相对论般的高级抽象。在未来五年内，行业需要寻找一种新的架构突破，让AI从统计相关性跨越到真正的因果逻辑和物理推理。

Ilya Sutskever，作为GPT系列的核心缔造者、前OpenAI联合创始人，也在深度访谈中表达了相同的判断：单纯依赖堆叠算力和数据的“规模化时代”正在遭遇瓶颈，行业正重新回归注重底层创新的“研究时代”。

过去七年，从Google的BERT到OpenAI的GPT系列，几乎所有震撼世界的AI模型都基于Transformer。然而，最懂它的人开始质疑其局限性。

当ScalingLaw（尺度定律）的边际效应开始递减，当万亿参数的模型依然不懂得如何像人类一样在物理世界中行走，我们不得不面对这个问题：原本能够带领我们通往AGI的Transformer，是否已经触碰到了天花板？

只会做题的优等生

在2017年之前，AI自然语言处理（NLP）的主流方式还是RNN（循环神经网络）和LSTM（长短期记忆网络）。它们处理信息的方式低效且难以捕捉长距离的语义关联。而Transformer架构的引入，彻底改变了这一切。

然而，Transformer归根结底是一个极致的统计学家。李飞飞指出：生成式AI最重大的突破之一，是发现了“下一个Token预测”这个目标函数。这听起来很优美，但也很局限。Ilya也给出了一个比喻：目前的模型就像是为了赢得编程比赛而练习了一万小时的学生。他看起来很强，但本质上只是在进行记忆提取。

相比之下，一个真正有天分的学生可能只练习了一百小时，但他拥有深刻的品味和直觉。当前的Transformer模型就像那个死记硬背的优等生，一旦遇到未曾见过的领域，其表现就会大打折扣。

Ilya认为，这正是因为模型缺乏某种特质因素，让它们学会了迎合评估标准，却未真正掌握推理。

长上下文的诅咒与慢思考的缺失

张祥雨揭示了Transformer的一个关键缺陷：智商随着文本变长而快速下降。背后的数学逻辑是Transformer的信息流是单向的。这与Ilya所强调的价值函数类似。他指出，人类之所以高效，是因为我们拥有内在的价值函数。

目前的Transformer缺乏这种机制。它必须把所有信息平铺开来，每次做一个决定都要去翻阅这一生的流水账。Ilya认为，真正的智能不仅仅是预测下一个Token，而是在行动之前就能通过内部的价值函数预判路径的优劣。

视觉失语与物理盲区

李飞飞认为：“仅靠语言不足以构建通用人工智能。”现有的Transformer在处理视觉任务时往往简单粗暴。Ilya在访谈中提出了一个问题：为什么一个青少年仅需十几个小时就能学会开车，而AI却需要海量的数据训练？

答案在于“先验知识”。人类拥有进化赋予的强大先验知识和直觉。目前的Transformer模型缺乏这种基于物理和生物直觉的世界模型。

回归研究时代

Ilya给出了宏观的判断：我们正在告别“规模化时代”，重新回到“研究时代”。这个新配方不会是单一技术的修修补补，而是一场系统性重构。

李飞飞的World Labs致力于构建具有“空间智能”的模型。张祥雨透露了极具前瞻性的“非线性RNN”方向。这种架构不再是单向流动，而是可以在内部进行循环、反刍、推理。

如果底层架构发生剧变，整个AI产业链也将面临一场洗牌。数据的价值也将被重估。视频数据、物理世界的传感器数据、机器人的交互数据，将成为新的石油。

结语

访谈的结尾李飞飞说了一段意味深长的话：“科学是多代人思想的非线性传承。”

我们往往喜欢单一英雄神话。但实际上，科学是一条河流。Transformer是一座丰碑，但它或许不是终点。它让我们看到了智能的曙光，但在因果推理、物理理解和无限上下文上的先天缺陷注定只是通往AGI道路上的一块垫脚石。

李飞飞说行业需要寻找新的架构突破，Ilya说Scaling时代已过。张祥雨说Transformer无法支撑下一代Agent并非全盘否定它的历史功绩，而是在提醒我们不要在舒适区里沉睡。

未来五年，我们或许会看到Transformer逐渐退居幕后成为一个子模块而一种全新的融合了空间智能、具身交互和深度逻辑推理的新架构将走上台前。