谷歌Gemini新突破：聚焦长上下文与成本革命

谷歌在AI领域又有新动向？

近期，Google DeepMind的Gemini预训练负责人Sebastian Borgeaud在接受采访时透露了重要信息——未来一年，大模型预训练领域将在「长上下文处理效率」和「上下文长度扩展」方面迎来重大技术创新。

值得一提的是，Google Gemini的三巨头——Jeff Dean、Oriol Vinyals和Noam Shazeer罕见同台，他们的观点与Sebastian不谋而合，展现了惊人的共识。

这些高瞻远瞩的智慧让人深思，谷歌依然走在科技前沿。

谷歌大佬预言：已破解大模型核心

Gemini 3背后的秘密

Sebastian Borgeaud在访谈中表示，未来一年内，针对提升长上下文处理效率及扩展模型上下文长度的预训练技术，将会有重大创新。

此外，他还透露，在注意力机制方面取得了一些有趣的发现，这可能在未来几个月内重塑研究方向。

对此，他感到非常兴奋，并指出Scaling Law并未消亡，只是正在演变。

Sebastian Borgeaud作为Gemini 3的预训练负责人，首次接受博客采访，带我们深入了解Gemini 3背后的实验室思维——变化究竟发生在哪里，以及为何现在的工作不再是「训练模型」，而是构建一个完整的系统。

Gemini 3：AI的未来正在加速

一次意外的飞跃后，一个系统诞生了。

「如果对自己诚实的话，我想……我们比我认为我们能达到的地方，走得更远了。」Sebastian Borgeaud语气平静，但这句话却激起无限涟漪。

为何Gemini 3能实现如此巨大的性能飞跃？Sebastian的回答很简单：「更好的预训练和更好的后期训练」。

然而，这背后是一个根本性的认知转变。

「我们不再仅仅是在构建一个模型了，」他缓缓说道，「我认为，在这一点上，我们真正在构建的是一个系统。」

而这，正是Gemini 3颠覆性进步的关键。

人们常想象从Gemini一个版本到下一个版本总有石破天惊的「秘密武器」，但Sebastian揭示的真相是：进步源于无数细微改进的聚合。

AI的未来：长上下文、高效检索与「成本革命」

展望未来几年的技术前沿，Sebastian指出了激动人心的方向，它们将共同塑造下一代AI的能力与形态。

1. 长上下文：从「短记忆」到「海量工作台」

Gemini 1.5带来的超长上下文能力已经是一场变革。Sebastian预测，这方面的创新将持续加速。

4. 效率与成本的「革命」

一个日益凸显的挑战是：随着用户激增，模型的部署和服务成本变得至关重要。未来的研究将不再只追求性能峰值，还必须关注如何让强大模型变得「便宜又好用」。

我仍看不到尽头

采访尾声，当我们拉回这位站在AI浪潮之巅的研究者时，Sebastian的回答透露出沉静的乐观与纯粹的热情。

规模不再是神话

Noam Shazeer回归后的第一桶冷水

在会议中，Noam不再是那个激进派。

他很少谈论「颠覆」，反而多次谈到研发节奏、系统稳定性及长期运行。

作为Transformer的开创者，他曾引领大模型发展；如今，他却警告大模型自我检查次数太少。

顶级科学家的共识：一次高分不能定义AI的未来

Noam提到「慢思考」，不只是放慢研发速度，而是反复追问值不值、贵不贵、能否被规模化复制。

Gemini被当成System而非Model

在这场对谈里，「System」高频出现。Noam和Jeff在描述Gemini时，刻意避开「更强的模型」，而强调它是一个可以长期运行、不断迭代的「系统」。