Karpathy深度解析AGI之路：十年挑战与未来展望

通用人工智能（AGI）并非即将实现，但也绝非虚无缥缈的幻象。Karpathy明确表示，通往AGI的道路已经显现，然而这条路径布满艰难挑战——包括强化学习信号薄弱、模型崩溃风险、环境与评估资源匮乏、系统集成与安全难题等。他给出了一个「乐观而不夸张」的时间预估：10年。

近日，OpenAI创始成员、特斯拉前深度学习负责人Karpathy公开指出：AGI依然有十年之遥。

Karpathy批评行业过度高估了当前人工智能的智能水平，但同时他认为通向AGI的轨迹已经清晰，不过这条路绝非坦途。

Karpathy详细阐述了实现AGI所面临的多重难题：

为何强化学习效果有限（尽管其他方法更不理想）、

为何模型崩溃会阻碍大语言模型像人类一样学习、

为何AGI只能逐步融入过去约2.5个世纪以来每年约2%的GDP增长趋势、

为何自动驾驶技术耗时如此之久才取得突破。

这些挑战极为复杂，因此实现AGI大致还需10年时间。这一观点被广泛解读为对AI热潮的降温，为当前的AGI狂热浇了一盆冷水。

马斯克点名Karpathy迎战Grok 5

马斯克认为，Karpathy的某些见解确实有价值。

但随后，马斯克转变话题，点名邀请Karpathy与Grok 5进行一场编程对决，类似国际象棋大师卡斯帕罗夫与深蓝的历史性较量。

然而，Karpathy拒绝了马斯克的挑战，并回应道：

我倾向于与Grok 5合作，而非与它竞争。

考虑到马斯克认为目前Grok 5实现AGI的概率仅为10%，却要求Grok 5在编程上挑战Karpathy。

或许，AI初创公司Yuchen Jin的推文很好地解释了马斯克此举的动机：

马斯克正运用其「现实扭曲力场」，推动xAI团队达成「看似不可能的目标」。

智能体工程师Dan Mac指出，Karpathy在断言当前正处于LLM炒作的「幻灭低谷期」。

这更像一种现实主义态度：与其搭建竞技擂台，不如潜心打磨工具本身。

表面上看，Karpathy有力支持了LLM怀疑论者——那些人可能正在庆祝「AI无用论」的胜利。

这令人感到沮丧，尤其是当你关注AI并看到它真正缓解人类苦难的潜力时。

但Dan Mac强调，故事远未结束，接下来将迎来好消息：启蒙的斜坡——生产力将缓慢而稳定地提升，距离最终瓶颈还有很长一段路。

事实上，Karpathy重新回顾了整期播客内容。

他首先自我反思：有时「言辞快于思考」，导致部分解释不够清晰；有时也会紧张，担心偏离主题或陷入次要细节过深。

以下👇是Karpathy的补充观点和自我辩白。

Karpathy的辩白

总体而言，10年对于AGI来说是一个非常乐观的时间表，只是与当前的炒作氛围相比，它显得不那么「振奋人心」。

10年很短

关于通用人工智能（AGI）的时间线，这是当前讨论中最受关注的部分。

「智能的十年」（the decade of agents）对应他之前关于OpenAI Operator智能体的推文内容：

2025年，无疑是智能体的元年，但未来10年都将属于「智能体时代」。

大致上，Karpathy认为他比旧金山「AGI时间线」的预估悲观约5–10倍；但相对于近期兴起的否定派和怀疑论者，他仍然保持乐观。

这并不矛盾：

1）近年来大语言模型（LLM）确实取得了显著进展；

2）同时，距离「在全球任何岗位上都更愿意雇佣它而非人类」的实体，仍有大量工作要做：包括繁琐任务、系统集成、连接物理世界的感知与执行、社会层面协同、安全与防护（如越狱、投毒等），以及进一步的研究。

整体来看，10年本应是非常乐观的AGI时间线；只是与当下的炒作环境对比，才显得「不够乐观」。

人工幽灵智能：AGI=Artificial Ghost Intelligence？

Karpathy怀疑是否存在「一种极其简单的算法，将其投入世界就能从零学习一切」。

如果有人真能创造出这样的东西，那他将被证明是错误的——这将是AI史上最震撼的突破。

在他看来，动物并非这类例子——动物通过进化「预装」了大量智能，后天学习总体有限。例如，斑马出生后就能奔跑。

LLM代表了一种不同形式的智能。

从工程角度，我们无法重演进化过程。

LLM提供了另一条「预装智能」的路径：不是依靠进化，而是通过互联网上「预测下一个Token」将海量知识注入网络。

这将催生一种不同于动物的智能形态，更接近「幽灵/灵体」。

当然，我们完全可以且应该逐步让它们更「像动物」，许多前沿工作本质上正致力于此。

强化学习不是全部答案

在博客中，Karpathy表示，当前强化学习就像「通过吸管获取监督信号」——

模型尝试数百种方法，仅得到一个「对错」信号，然后将该信号广播给成功路径的每一步，甚至包括那些纯属运气的错误步骤。

盲目猜测答案后，将猜测过程也强化为「正确方法」，这如何能有效学习？

他还提及一个更荒诞的例子：某个数学模型突然开始得满分，看似「解决了数学」。但仔细检查发现，模型输出的是「da da da da da」这类完全无意义的字符，却欺骗了LLM评判者。

这就是使用LLM作为评判者的问题——它们容易受到对抗样本攻击。

此前，Karpathy多次评论过强化学习，这是他的一贯观点：

强化学习将继续带来阶段性成果，但并非终极解决方案。

首先，强化学习的signal/flop（信号/算力）比率很低。它还很嘈杂；反之，一些极具洞察力的Token可能「被惩罚」（因为后续步骤失误）。

Karpathy认为会出现替代性的学习范式。

他长期看好「智能体式交互」（agentic interaction），但对「传统强化学习」持保留态度。

文本数据和监督微调的对话对不会消失，但在强化学习时代，环境才是核心。

与前两者不同，环境让LLM有机会真正互动——采取行动、观察结果等。这意味着你可以期待比统计专家模仿更好的表现。它们既可用于模型训练，也可用于评估。

但一如既往，当前核心问题是需要大量多样化且高质量的环境集合，作为LLM的练习对象。

近期不少论文找到了正确方向，比如他称为「系统提示词学习」（system prompt learning）的方法：

系统提示学习虽设置类似强化学习，但学习算法不同（编辑操作 vs 梯度下降）。

通过这种范式，LLM系统提示的大部分内容可自动生成，仿佛LLM在为自己撰写解决问题的指南。若成功，这将形成全新而强大的学习范式。当然，许多细节仍有待探索。

然而，arXiv上的创意与一家前沿实验室真正能大规模、普适地落地之间，仍存在显著差距。

他总体乐观，认为这条路线很快会取得实质性进展。

例如，ChatGPT的记忆功能等，已是新学习范式的「原始部署样本」。

认知内核与「反事实」练习

长期来看，Karpathy主张将LLM的「记忆」剥离或至少「增加阻尼」，迫使它们减少死记硬背，更多进行抽象与迁移。

「认知核心」作为LLM个人计算的核心，默认常驻于每台电脑中。其特性正逐渐明确：

支持原生多模态的文本/视觉/音频输入与输出。

采用嵌套式架构，可在测试时灵活调节能力大小。

具备推理能力，带有调节功能（系统2）并积极使用工具。

设备端微调LoRA插槽，用于实时训练、个性化和定制化。

人类记不住太多细节，这反而像一种「正则化」——限制记忆，提升泛化能力。

相应地，他也曾论述：

模型尺寸的趋势是「先大后小」：先扩展至足够大以承载能力，再通过架构、训练范式和数据做减法与蒸馏，向「更小、更专注的认知内核」收敛。

再进行一个「反事实」练习：如果将33年的算法进步带回1989年的LeCun实验室，能将当年结果提升到何种程度？

这有助于我们剖析约束因素：究竟是算法、数据还是算力在「卡脖子」。

在任何时代，正确识别约束项，才能有效投资与推进。

关于LLM智能体（Agents）

行业中许多工具假设「全自治团队并行协作、自动编写万行代码、人类仅充当监工」。

Karpathy更倾向于「协作式中间态」：

• 以人脑能处理的「信息块」为单位迭代；
• 让模型解释自己在编写什么、为何这样编写；
• 主动引用API/标准文档自证正确性；
• 不确定时就提问，减少凭空假设；
• 让人类在循环中学习与增强能力。

否则，我们将面临「代码沼泽」和安全风险扩大。

与泛化编程相比，AI辅助编程的重点在于严格约束这位热情过度的「天才实习生」——AI拥有软件百科全书般的知识，却常缺乏严谨性，勇气过剩但对优质代码几乎毫无品味。

关键在于保持缓慢、防御性、谨慎、多疑的态度，始终抓住嵌入式学习机会而非简单委派任务。目前许多环节仍显笨拙且需手动操作，现有工具尚未明确支持或优化这些流程。

我们仍处于早期阶段，AI编程助手的用户体验还有巨大改进空间。

他希望工具的雄心与当前模型的真实能力相匹配。

工作自动化与物理学教育

纵观各行各业，哪些岗位更容易被自动化，取决于：输入输出是否标准化、错误代价是否可控、是否有客观标注与可验证性、以及是否存在高频重复决策循环。

以放射科为例，现实数据往往显示「人机互补优先于完全替代」——将模型作为第二读片者、质控器或分诊器，反而提升了整体质量与效率。

他主张在基础教育中更早、更系统地教授物理，并非为了培养物理学家，而是因为物理最像「为大脑刷底层系统」的学科：建模、量纲、守恒、近似与推理，将可计算的世界观植入心中。

「物理学家是智识的胚胎干细胞」——这是Karpathy希望深入探讨的一篇长文主题。

参考资料：

https://x.com/cb_doge/status/1979677376138330461

https://x.com/daniel_mac8/status/1979707653573255668

https://x.com/karpathy/status/1979644538185752935

https://x.com/_philschmid/status/1979486732044185942

https://x.com/daniel_mac8/status/1979721662107885725

https://x.com/karpathy/status/1882544526033924438

https://x.com/karpathy/status/1921368644069765486