AI界「双神」共话革命：Hinton与Jeff Dean揭秘AI未来

AI界双神齐聚！NeurIPS 2025炉边谈话，Hinton与Jeff Dean共述AI革命之路，揭秘那些鲜为人知的故事。

NeurIPS 2025那场备受瞩目的访谈，如今终于公开了！

AI教父Hinton与DeepMind首席科学家Jeff Dean，两位AI圈的核心人物，多年的老友再度聚首。

现场，Hinton直接抛出了一个尖锐的问题——谷歌是否后悔发表Transformer论文？Jeff Dean回应道：“不后悔！因为它对世界产生了巨大的影响。”

不仅如此，Hinton还公开透露，自己关于Scaling的顿悟，源于Ilya的一场演讲。

在近1小时的对话中，两位大佬回顾了从ML早期突破，到当今塑造该领域的挑战、机遇等等。

他们还分享了从卧室运行AlexNet的两块GPU，到谷歌大脑（Google Brain）的早期岁月等精彩轶事。

AI教父Scaling顿悟，来自Ilya

对话的开场，先从一个有趣的共同点开始：两位Geoff和Jeff都对「反向传播」（backpropagation）着迷。

这一概念的论文虽在1986年于Nature正式发表，但其实早在1982年就已提出。

Jeff Dean回忆起自己的本科毕业论文——1990年，他先修了并行算法课程，仅用一周时间接触神经网络，就被深深吸引。

于是，他向明尼苏达大学Vipin Kumar教授申请做荣誉论文，主题是「用于训练神经网络的并行算法」。

那时，Jeff Dean使用了一台32个处理器的超立方体计算机，原以为算力翻32倍，就能做出惊人的神经网络。

但现实给了他一记教训——在扩展处理器（算力）的同时，没有同步扩大模型规模。

他仅是把10个神经元的层，硬拆到32个处理器上，结果性能惨不忍睹。

Jeff Dean还发明了早期的两个概念：「数据并行」和「模型并行」（当时称之为「模式划分」）。

另一边，Hinton则分享了自己对算力觉醒的「迟到」。他表示，「自己本该在80年代末，就意识到算力的重要」。

AlexNet出世

ML一夜征服「图像识别」

接下来，对话的焦点转向了2012年AlexNet，那个AI大爆炸的时刻。

Hinton回忆道，Vlad Nair先用英伟达GPU在道路识别、航拍图像上大获成功，证明了「多层网络远胜单层」。

AlexNet便是一个8层的神经网络。当时，他申请这一项目的资助续期，却被评审驳回——这个项目不值得资助，因为它不可能产生任何工业影响。

现场，Hinton笑称，我真想告诉他，这项技术去年贡献了美国股市80%的增长。

茶水间一次闲聊

催生「谷歌大脑」

差不多同一时间，在谷歌一个全新团队——谷歌大脑（Google Brain）正在酝酿而生。

Jeff Dean回忆，Google Brain雏形源于一次茶水间偶遇的闲聊。

那天，Andrew Ng时任斯坦福教授（每周来谷歌一天），他们恰巧撞见。Andrew提到，「自己的学生用神经网络，已经做出了不错的成果」。

这句话立即点醒了Jeff Dean，他想到——我们有的是海量CPU，为什么不训练超大神经网络？

赌场拍卖，谷歌必赢

AlexNet爆火后，多家公司都在争抢Hinton的团队。

“所以我们决定：我们要当『收购标的』”。有趣的是，地点定在了南太浩湖（South Lake Tahoe）的赌场。楼下老虎机声音不断，楼上每次加价必须至少加100万。”

从Transformer到Gemini

“Transformer灵感来源于Ilya Sutskever、Oriol Vinyals和Quoc Le的‘序列到序列’（seq2seq）工作。它使用深层LSTM，在机器翻译上大获成功。”