上一篇
Jeff Dean深度访谈：神经网络革命与AI未来的传奇历程
近期，AI领域传奇人物Jeff Dean的一次深度访谈内容被公开，引发广泛关注。作为谷歌大脑的奠基者、TensorFlow和TPU背后的核心推动者，他亲自回顾了这场神经网络革命的非凡历程。
被誉为「现代互联网架构之父」的Jeff Dean，最新对话内容已流出。
这位AI界的传奇人物，不仅是Google Brain的创建者，也是推动神经网络实现大规模应用的关键角色。
从让神经网络「识别猫」的重大突破，到TensorFlow与TPU的诞生，他的经历几乎构成了AI发展史的一部分。
在最新一期「登月播客」（The Moonshot podcast）的深度对话中，Jeff Dean分享了他的个人成长故事、Google Brain的早期历程，以及对AI未来的深刻见解。
节目中，他揭示了许多个人所知的有趣细节和轶事：
· 童年时期，Jeff Dean曾打印400页源代码进行自学。
· 在90年代，他提出「数据并行/模型并行」概念时，这些术语尚未普及。
· Google Brain的最初灵感，源自于在谷歌微型茶水间与吴恩达的一次偶然交谈。
· 「平均猫」图像的诞生，被Jeff形容为「在大脑中找到了触发祖母记忆的神经元」。
· 他将AI模型比喻为「苏格拉底式伙伴」，能够陪伴推理和辩论，而非单向工具。
· 对未来，他提出「一亿老师，一个学生」的隐喻，意指人类不断教导AI模型，使所有人受益。
超级工程师，早已看好神经网络
Jeff是工程界英雄口中的「工程超级英雄」，极少有工程师像Jeff Dean这样获得如此多的敬佩。
主持人的首个问题是：Jeff Dean如何成为一名工程师？
Jeff Dean认为自己有一个独特的童年。由于频繁搬家，他在12年内换了11所学校。
年幼时，他喜爱用乐高积木搭建物品，每次搬家都会携带他的乐高套装。
九岁时，他居住在夏威夷。
Jeff的父亲是一名医生，但一直对计算机如何改善公共卫生感兴趣。当时若想使用计算机，只能前往健康部门的地下室机房，将需求提交给所谓的「主机专家」，然后等待实现，过程非常缓慢。
在杂志上，Jeff的父亲看到一则广告，购买了一套DIY计算机套件。那是一台基于Intel 8080的早期机型（大致比Apple II早一两年）。
起初，这台计算机仅是一个带闪烁灯和开关的盒子，后来他们添加了键盘，能够一次输入多个比特。随后，他们安装了BASIC解释器。Jeff Dean购买了一本《101个BASIC语言小游戏》的书籍，可以逐行输入程序，运行游戏，并进行修改。
这是他首次接触编程。
后来，Jeff一家移居明尼苏达州。全州的中学和高中均可接入同一计算机系统，系统包含聊天室和交互式冒险游戏。
这类似于「互联网的前身」，比互联网普及早15至20年。
当时，Jeff大约13或14岁，他正在玩的一款多人在线游戏开源了。
Jeff悄悄使用激光打印机，将400页源代码全部打印出来，试图将这款多人主机游戏移植到UCSD Pascal系统上。
这一过程让他掌握了大量并发编程知识。
这是Jeff Dean首次编写出较为复杂的软件。
大约在1991年，人工智能首次吸引了Jeff Dean的注意力。
具体来说，是使用Lisp代码进行遗传编程。
在明尼苏达大学本科的最后一年，Jeff Dean首次真正接触人工智能。
当时，他选修了一门并行与分布式编程课程，其中涉及神经网络，因为它们天生适合并行计算。
那是1990年，神经网络正迎来一波热潮。它们能够解决一些传统方法难以处理的小问题。
当时，「三层神经网络」即被视为「深度」，而如今已有上百层。
他尝试用并行方法训练更大的神经网络，连接了32个处理器。但后来发现，所需算力是100万倍，32个远远不足。
论文链接：https://drive.google.com/file/d/1I1fs4sczbCaACzA9XwxR3DiuXVtqmejL/view
尽管实验规模有限，但这标志着他与神经网络的首次深入接触，让他确信这条道路正确。
即使到90年代末，神经网络在AI领域已完全「过时」。随后，许多人放弃了神经网络研究。
但Jeff Dean并未完全放弃。当时整个AI领域转移了焦点，他便尝试其他方向。
毕业后，他加入了Digital Equipment Corporation在Palo Alto的研究实验室。
数字设备公司Digital Equipment Corporation，简称DEC，商标迪吉多Digital，是成立于1957年的一家美国电脑公司，发明了PDP系列迷你计算机、Alpha微处理器，后于1998年被康柏电脑收购
后来，他加入谷歌，多次在不同领域「从零开始」：
搜索与信息检索系统、大规模存储系统（Bigtable、Spanner）、机器学习医疗应用，最终进入Google Brain。
谷歌大脑秘辛：一次茶水间闲聊
在职业生涯中，Jeff Dean最独特的一点是：一次又一次地「从零开始」。
这种模式激励了许多工程师，证明「影响力」并非取决于团队规模，而是推动事物发展的能力。
就像将雪球推上山坡，让它滚得足够快、足够大，然后再寻找下一个雪球。Jeff Dean热爱这种方式。
在Spanner项目逐渐稳定后，他开始寻找新挑战，并遇到了吴恩达。
在谷歌茶水间偶然相遇，吴恩达告诉Jeff Dean：「在语音和视觉领域，斯坦福学生使用神经网络取得了非常有前景的结果。」
Jeff立刻产生兴趣，说道：「我喜欢神经网络，我们来训练超大规模的吧。」
这就是Google Brain的起点，他们希望探索是否真能扩大神经网络规模，因为使用GPU训练神经网络已显示良好效果。
Jeff Dean决定构建分布式神经网络训练系统，以训练超大规模网络。最终，谷歌动用了2000台计算机、16000个核心，尝试训练各种模型。
逐渐地，越来越多人加入该项目。
谷歌在视觉任务上训练了大型无监督模型，在语音任务上训练了大量监督模型，并与搜索、广告等部门合作推进多项工作。
最终，数百个团队开始使用基于早期框架的神经网络。
《纽约时报》报道了这项成就，刊登了猫的图片，这成为谷歌大脑的「顿悟时刻」。
由于他们采用无监督算法。
他们将特定神经元最兴奋的内容平均化，创建最具吸引力的输入模式。这就是生成猫形象的过程，被称为「平均猫」。
在Imagenet数据集上，谷歌微调了这个无监督模型，在20000个类别上实现了60%的相对错误率降低。
同时，他们使用监督训练模型，在800台机器上训练五天，基本将语音系统错误率降低30%。这一改进相当于过去20年语音研究的所有进展。
因此，谷歌决定采用神经网络进行早期声学建模。这也是谷歌定制机器学习硬件TPU的起源。
注意力机制三部曲
不久后，谷歌大脑团队取得更大突破，即注意力机制（attention）。
Jeff Dean认为有三个关键突破。
第一个是在语言理解方面，词或短语的分布式表示（distributed representation）。
这不同于用字符「New York City」表示纽约市，而是用高维空间中的向量替代。
纽约市的固有含义和上下文倾向于出现，因此可能用一个一千维向量表示它，另一个一千维向量表示番茄（Tomato）。
实现算法非常简单，称为word2vec（词向量），基本基于预测附近词语来训练这些向量。
论文链接：https://arxiv.org/abs/1301.3781
接下来，Oriol Vinyals、Ilya Sutskever和Quoc Le开发了称为序列到序列（sequence to sequence）的模型，使用LSTM（长短期记忆网络）。
论文链接：https://arxiv.org/abs/1409.3215
LSTM类似于以向量作为状态，处理一系列词或标记（tokens），每次稍微更新状态。因此，它可以扫描序列，并在基于向量的表示中记住所有内容。
它是系统运行基础的短期记忆。
结果证明这是建模机器翻译的极佳方法。
最后是注意力机制，由Noam Shazeer等八人在Transformer中提出。
该机制的核心思想是，与其在每个单词处更新单个向量，不如记住所有向量。
因此，注意力机制是这篇开创性论文的名称，其中开发了基于transformer的注意力机制，该机制在序列长度上呈n平方复杂度，但产生了惊人结果。
LLM突破触及门槛，自动化闭环颠覆人类
长期以来，LLM神经网络运作机制难以理解，成为一个无法破解的「黑箱」。
如今，随着参数规模急剧扩大，人们无法像理解代码一样理解LLM。
研究人员更类似于进行「神经科学」研究：观察数字大脑的运作方式，并尝试推理背后机制。
人类理解模型的想法，未来将如何发展？
Jeff Dean对此表示，该领域研究者称之为「可解释性」。所谓可解释性，即能否弄清LLM在做什么及为何这样做。
这确实类似「神经科学」，但相较于研究人类神经元，LLM作为数字化产物，探测相对容易。
很多时候，人们尝试进行直观可视化，例如展示70层模型中第17层在特定输入下的情况。
这当然有用，但仍是一种静态视角。
他认为，可解释性未来可能的发展方向是——若人类想知道LLM为何做出某决定，直接询问它，模型会给出回答。
主持人表示，自己也不喜欢AGI术语，若不提及此概念，在某些时刻，计算机可能比人类实现更快突破。
未来，我们需要更多技术突破，还是仅需几年时间和几十倍算力？
Jeff Dean表示，他避开AGI讨论的原因在于，许多人对它的定义截然不同，且问题难度相差数万亿倍。
例如，LLM在多数任务上表现优于普通人。
需知，当前在非物理任务上，它们已达到该水平，因为大多数人不擅长自己从未做过的随机任务。在某些任务中，LLM尚未达到人类专家水平。
然而，他坚定表示，「在某些特定领域，LLM自我突破已触及门槛」。
前提是，它能形成完全自动化闭环——自动生成想法、进行测试、获取反馈以验证想法有效性，并能在庞大解决方案空间中探索。
Jeff Dean特别提到，强化学习算法和大规模计算搜索已证明在此环境中极为有效。
在众多科学、工程等领域，自动化搜索与计算能力必将加速发展进程。
这对未来5年、10年甚至15-20年内人类能力的提升至关重要。
未来五年规划
当被问及未来五年个人规划时，Jeff Dean称，他将花更多时间思考，构建更强大、更具成本效益的模型，最终部署服务数十亿人。
众所周知，谷歌DeepMind目前最强模型——Gemini 2.5 Pro，计算成本极高，他希望打造更优系统。
Jeff Dean透露，自己正在酝酿一些新想法，可能成功也可能失败，但朝着方向努力总有奇妙之处。
参考资料
https://www.youtube.com/watch?v=OEuh89BWRL4
本文由主机测评网于2025-12-25发表在主机测评网_免费VPS_免费云服务器_免费独立服务器，如有疑问，请联系我们。
本文链接：https://www.vpshk.cn/20251212575.html
