Gemini 3：预训练与后训练的双重突破

2025 年底，大模型行业的“年终决战”正式打响，Gemini 3 以绝对优势强势崛起，刷新了行业的认知边界。

11 月 18 日，Gemini 3 在多项权威基准测试中表现出色，被誉为“世界最强多模态理解”、“交互最深智能体”和“推理怪兽”。谷歌 CEO 桑达尔·皮查伊亲自称赞其为“迄今为止最智能的模型”。

Google DeepMind 研究与深度学习副总裁 Oriol Vinyals 在推特上透露，Gemini 3 的成功秘诀在于“更好的预训练”和“更好的后训练”。这一表态让“预训练”与“后训练”成为行业热议的核心话题。

近日，Gemini 3 预训练负责人之一、开创性论文 RETRO 的合著者 Sebastian Borgeaud 在播客中深度解析了这款顶级模型背后的实验室逻辑。他认为，Gemini 3 的飞跃是无数细节持续优化的结果。

Sebastian Borgeaud 强调，谷歌已经转向“做系统”，而非单纯“做模型”。这一观点与 DeepMind 联合创始人兼 CEO 戴密斯·哈萨比斯不谋而合。哈萨比斯表示，Gemini 3 的强大源于“研究、工程和基础设施”的深度融合。

Gemini 3 的成功反映了 AI 行业从“无限数据”时代迈入“数据有限”新阶段的深刻变革。合成数据、推理轨迹、长上下文、持续学习等将成为 AI 行业未来的进化路径。

在 Sebastian Borgeaud 看来，合成数据虽有趣但需谨慎。一旦数据分布发生偏移，模型可能会陷入“自嗨”的闭环里。因此，他建议通过小规模可控消融实验验证合成数据的收益和副作用。

此外，Sebastian Borgeaud 还透露 DeepMind 正在推进“后 Transformer 架构”的创新，并看好“原生态模型”。尽管研发成本高昂，但其长期价值值得投入。

展望未来，Sebastian Borgeaud 预计 Gemini 将更好地服务于科学研究，甚至可能凭借助力重大发现拿下诺贝尔奖。同时，它也将更深入地融入普通人生活，解决各类实际问题。