AI未来十年：瓶颈与挑战并存，智能体需突破认知缺陷

AI的未来之路布满荆棘，认知缺陷与强化学习的困境，让智能体的发展面临重重挑战。

智东西10月21日报道，近日，前特斯拉AI总监、OpenAI创始成员安德烈·卡帕西（Andrej Karpathy）进行了一场长达2.5小时的深度访谈，系统性地分享了他对AI现状与未来的深刻洞察，其诸多观点挑战主流认知，极具启发性。

在业界普遍看好“智能体之年”时，Karpathy冷静地提出，这将是“智能体的十年”。他指出，要打造出真正能像实习生一样可靠工作的AI智能体，仍需攻克多模态、持续学习、使用计算机等核心瓶颈，这大约需要十年时间。

Karpathy以他近期开源的nanochat项目为例，揭示了大语言模型存在的“认知缺陷”。在需要精确架构的创新性编程任务中，AI助手因过度依赖训练数据中的常见模式，反而会误解定制化代码、增加不必要的复杂性，最终“让代码库膨胀，简直是一团糟”。

对于推动大模型迭代的主流方法——强化学习，Karpathy的批评尤为犀利。他形象地比喻道，这种方法本质上是“用吸管吸监督信号”，即艰难地将最终结果的单一信号分摊到整个复杂行动过程中，他认为这既低效又荒谬。

通过与人类学习方式的对比，Karpathy指出了当前大模型训练的两个关键缺陷：“模型坍缩/模型崩溃（model collapse）”导致生成内容多样性枯竭，以及“过度记忆”阻碍了其像人类一样发现通用模式。

衡量AI进展时，Karpathy认为应更关注其在具体经济任务中的实际表现，而非抽象指标。他预判，AGI对宏观经济增长的推动将是缓慢而持续的，会像计算机、手机等技术一样，悄然融入并延续原有的约2%的GDP增长态势。

尽管前景漫长，Karpathy却坚信我们早已处于“智能爆炸”之中。他从一个更宏大的视角阐述：从历史尺度看，这场变革犹如一场“烟花盛宴”，而我们正以慢动作见证着它的发生。

01.AGI发展瓶颈：多模态与持续学习能力是难题

主要对话内容如下：

Dwarkesh Patel：Andrej，为什么你说这是智能体的十年？

Andrej Karpathy：这句话是对之前一句名言的回应。我注意到业内存在一些过度预测的情况。虽然一些早期的智能体令人印象深刻，但还有很多工作要做。我们会和这些东西协作十年之久。

02.大语言模型缺陷：编程模型做得“一团糟”

主要对话内容如下：

Dwarkesh Patel：你在推特上谈到编程模型对你构建代码库几乎没有帮助，为什么？

Andrej Karpathy：编程模型存在很多认知缺陷。例如，他们总是误解代码。nanochat是一个相当独特的代码库，但编程模型试图让我使用DDP容器，还一直试图搞乱代码风格。

03.强化学习批判：低效且荒谬

主要对话内容如下：

Dwarkesh Patel：来聊聊强化学习。如何理解人类仅通过与环境的互动就能构建一个丰富的世界模型？

Andrej Karpathy：强化学习比我想象的要糟糕得多。它几乎假设你得出正确答案的每一个小细节都是正确的。这简直愚蠢又疯狂。

04.与人类学习对比：AI面临“隐性坍缩”危机

主要对话内容如下：

Dwarkesh Patel：在机器学习领域，与人类白日梦、睡眠或单纯反思相对应的概念是什么？

Andrej Karpathy：我们在这方面遗漏了一些关键维度。人类的学习方式更主动，而AI缺乏这一机制。

05.AGI与经济增长：不会使GDP突进增长

主要对话内容如下：

Dwarkesh Patel：我们应该如何看待AI的进步？

Andrej Karpathy：...在我看来，AI不会让GDP出现显著增长。其影响会随着时间慢慢扩散，最终也会融入那条既定的指数增长曲线。