AI进化70年：从深度学习到大模型爆发

Meta超级智能团队的毕树超回顾了70年的AI进化历程，从AlexNet掀起深度学习革命，到Transformer与Scaling Law驱动大模型爆发，再到强化学习+预训练通向AGI。他坚信智能并非人类独有，AGI的曙光已经显现！

加入Meta超级智能实验室后，毕树超首次公开表示：大多数人可能低估了AI的影响！

十年前，他对AGI持怀疑态度，但在过去十年中，他逐渐接受了AGI，甚至预测2025年AGI将到来。

上个月，他在哥伦比亚大学和哈佛大学就人工智能发表了两次演讲。

许多听众后来联系他，声称他的演讲改变了他们对AI的看法。

在题为《推进硅基智能前沿：过去、开放问题与未来》的演讲中，毕树超系统阐述了过去15年的技术进展、当前待解难题以及未来发展趋势。

目前，他在Meta从事强化学习/后训练/智能体研究。此前，他在OpenAI领导多模态研究；还是YouTube Shorts的主要负责人。

他本科毕业于浙江大学数学专业，之后在加州大学伯克利分校获得统计学硕士和数学博士学位。

AGI曙光

最近，David Silver等人发表了《Welcome to the Era of Experience》。

他们的核心观点是：高质量的人类数据非常稀缺。

尽管人类文明已有几千年，但真正积累的高质量数据并不多，而且大部分文本快消耗殆尽。

因此，如何生成更多的数据成为关键问题。

答案可能在于人类本身。人类的数据来源于人脑的思考以及从真实环境中获得的反馈和奖励。

算力正在变得越来越廉价，计算机与环境的交互或许可自动生成新的知识与数据。这种方式将可能比人类自身产生数据的速度更快。

这也是为什么毕树超如此看好通用人工智能（AGI）和超人工智能（ASI）的原因。

他分享了个人对AGI研究的心路历程。一开始对通用人工智能持怀疑态度，但随着对AI理解的加深，他开始意识到模拟人脑的方式不止一种。

如果能用计算机模仿人类的学习方式，为什么不这样做呢？这就是他如今更加相信AGI的原因：

一方面，大脑并不是独一无二的，它只是生物进化的结果。虽然复杂，但归根结底它也不过是一台“生物计算机”，并不比硅基计算机更神秘。

另一方面，真正关键的因素不是结构的复杂程度，而是系统是否具备足够的规模。

AI双城记

在哥伦比亚大学，他追溯了人工智能（AI）的思想根源。

这一切都始于1948至1950年左右。

当时，Alan Turing提出了一个问题：机器能思考吗？图灵提出，人工智能不应试图模仿成人的大脑，而应设计一个简单的模型，通过数据自主学习。

毕树超对观众说：「这正是机器学习的核心。构建一个几乎不含人类先验知识的系统，让它从数据中学习。」

他重点讲了自监督学习和强化学习。

自监督学习

2012年，出现了AlexNet。这是第一个大规模深度学习模型，使用了GPU和大量数据。AlexNet的错误率令人惊叹，性能之好史无前例。

从中大家得到一个启示：只要有足够的数据和计算能力，神经网络就会超越人类过去几十年手工设计的视觉算法。这重新唤起了人们对神经网络的兴趣，深度学习革命开始了。

豁然开朗

演讲的前一天，毕树超和物理教授聊天才意识到：在低维空间建立的统计直觉在万亿参数的高维空间根本不适用！

ChatGPT前传

从2014年到2016年，主要挑战是这些模型很难并行训练以及梯度消失。然后，Transformer出现了。这是过去十年中最重要的论文之一。它完全消除了递归，完全依赖于自注意力。

Scaling Law如何让模型顿悟？

强化学习