AI的崛起：算法、硬件与工程的系统性突破

2025年12月初，圣地亚哥NeurIPS大会迎来了一场重要时刻。Geoffery Hinton（神经网络奠基人、2024年诺贝尔物理学奖得主）与Jeff Dean（Google首席科学家、Gemini模型联合负责人、TPU架构师）的炉边对谈，探讨了现代AI的崛起之路。

这场对话聚焦于一个关键问题：

现代AI如何从实验室走向数十亿用户？

从AlexNet在学生卧室的两块GPU上训练，到Google在餐巾纸上算出TPU需求；从学术圈的小众实验，到支撑全球亿级应用的基础设施。这是一次对AI工业化进程的系统性复盘。

他们指出，现代AI的突破从来不是单点奇迹，而是算法、硬件、工程同时成熟后的系统性涌现。强算法必须与强基础设施结合，才能真正走向规模化。

沿着时间线，我们梳理了三个关键阶段：

• 起点突破：硬件如何让AI从想法变成现实
• 系统成熟：算法、组织、工具如何协同推进
• 未来门槛：规模化之后要突破的三道关卡

看清这条路径，你就能理解AI为什么是今天这个样子。

第一节｜AI的突破，起于一块GPU板

Geoffrey Hinton说，现代AI的真正转折，并不在某篇论文里，而是在他学生Alex的卧室里：两块NVIDIA GPU板，插在父母家电脑上，训练图像识别模型。这是2012年ImageNet比赛的故事。

别人用的是手工特征提取，他和学生团队用的是深度神经网络。参数比别人多十倍，算力也超出好几倍，准确率远超对手。AlexNet由此奠定了深度学习的地位。

这场胜利证明了一件事：没有足够算力，什么结构都只是想象。

Jeff Dean的回忆更早：1990年他还在做本科论文时，就开始琢磨怎么用并行算法训练神经网络。他做了两个方向——数据并行和模型并行——但当时没人用这些词。他用的是一台32处理器的超立方体计算机。

问题是：他分了32份算力，却只用了10个神经元。“我犯了个很大的错误。”这次失败的经验，让他在二十多年后设计TPU时，从一开始就考虑如何让算力和模型规模真正匹配。

二十多年后，类似的算力问题再次出现，但这次是在推理端。2013年，Jeff Dean在餐巾纸做了一次计算：如果未来全球有1亿人每天用语音助手……

TPU项目就此启动。2015年，第一代TPU专注于推理，而非训练。它比同期CPU和GPU的推理能效高出30-80倍。直到2017年的TPU v2，Google才开始在自研硬件上大规模训练模型。

与此同时，NVIDIA GPU路线也在持续演进。从AlexNet的两块GPU板卡，到2023年的H100、2024年的H200，以及2025年开始交付的B200，NVIDIA GPU仍然支撑着OpenAI、Meta等公司的大规模训练。

第二节｜从AlexNet到Gemini，三条曲线如何交汇

现代AI能大规模应用，不是靠某一个天才灵感，而是三条技术曲线在2017-2023年间密集交汇：

1、算法架构找到了可扩展的形态

从AlexNet到Transformer，核心变化是更易规模化。Transformer的突破在于：它把顺序处理变成了并行处理。在Jeff Dean看来……

2、组织方式从分散变成集中

2022年ChatGPT发布前，Google内部已经有一个聊天机器人……

3、工程工具栈形成了闭环

AI不只是模型，还需要一整套基础设施：JAX、Pathways、蒸馏技术……

第三节｜能效、记忆、创造：AI规模化后的三道门槛

Jeff Dean和Hinton在这场对话中，不约而同指出了三个还未解决的方向：能效、记忆、创造。这三道门槛分别卡在不同层面……

... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ... ...