Hinton诺贝尔奖演讲：玻尔兹曼机与深度学习革命

2024年12月8日，诺贝尔物理学奖得主Geoffrey Hinton在斯德哥尔摩大学Aula Magna礼堂发表了题为《玻尔兹曼机》的演讲，吸引了全球目光。

他深入浅出地分享了与John Hopfield利用神经网络，推动机器学习基础性发现的历程，并探讨了玻尔兹曼机在深度学习中的应用。

Hinton的演讲核心内容于8月25日正式发表在美国物理学会（APS）期刊上，论文地址：https://journals.aps.org/rmp/pdf/10.1103/RevModPhys.97.030502

1980年代，存在两种颇具前景的梯度计算技术——反向传播算法和玻尔兹曼机器学习算法。如今，反向传播算法已成为深度学习核心引擎，而玻尔兹曼算法则逐渐淡出人们视野。此次演讲的重点便是「玻尔兹曼机」。

霍普菲尔德网络：寻找能量最低点

霍普菲尔德网络是一种简单的二进制神经元网络，每个神经元只有1或0两种状态，神经元之间通过对称加权连接。

通过不断更新的神经元状态，网络最终会稳定在「能量最低点」，而能量是优度的负值。霍普菲尔德网络的核心意义在于，每个神经元通过局部计算决定如何降低能量。

不仅记忆存储，还能解释「感官输入」

Hinton进一步分享了与Terrence Sejnowski对霍普菲尔德网络的创新应用——用它来构建对感官输入的解释，而不仅仅是存储记忆。

他们将网络分为「可见神经元」和「隐藏神经元」，前者接收感官输入，后者用于构建对该输入的解释。网络的某个配置的能量，代表了该解释的劣度，他们追求的是低能量的解释。

视觉诠释：从2D到3D

Hinton以一幅经典的模棱两可的线条画——内克尔立方体为例，展示了网络如何处理视觉信息的复杂性。

视觉系统需要从二维的线反推回去，判断现实中哪条边才真正存在。为此，Hinton和Sejnowski设计了一个网络，将图像中的线条转化为「线神经元」的激活状态。

搜索问题：带噪声神经元

对于搜索问题，最基本的解决方法是引入带有噪声的神经元，即「随机二进制神经元」。这些神经元状态为「二进制」，但其决策具有很强的概率性。

玻尔兹曼分布+机器学习

通过随机更新隐藏神经元，神经网络最终会趋近于所谓的「热平衡」。在热平衡下，低能量状态（对应更好解释）出现概率更高。

「玻尔兹曼机」学习算法

Hinton与Sejnowski在1983年提出了「玻尔兹曼机学习算法」，解决了权重调整问题。