Anthropic联合创始人谈AI未来：超级智能与安全挑战

近期，Anthropic联合创始人本杰明·曼恩在《Lenny's Podcast》节目中，就AI的未来及其对人类社会和就业的影响发表了深刻见解。

曼恩曾是OpenAI GPT-3的核心架构师。在访谈中，他探讨了多个重要话题，包括离开OpenAI创立Anthropic的原因、对AGI出现时间的预期、经济图灵测试作为衡量AGI的标准等。他还讨论了Scaling Law为何没有减缓反而加速，AI安全和对齐的重要性，以及目前AI研究中的最大瓶颈。

以下是曼恩分享的核心观点：

1. 尽管有人认为AI遇到瓶颈，Anthropic认为技术进步正在加速，模型迭代周期已从每年缩短至每季度甚至每月，Scaling Law依然有效，只需从传统预训练转向强化学习应用。
2. Anthropic提倡自我反馈强化学习（RLAIF），使AI能自我改进，减少人类干预，具备更高的可扩展性，但也面临风险和挑战。
3. Anthropic已建立五级AI安全评估体系，目前其模型处于第三级，有一定风险但不严重，第五级可能导致人类灭绝。
4. Anthropic定义AGI为能通过“经济图灵测试”的AI系统，一旦实现将对全球GDP、社会结构和就业市场产生深远影响。
5. 曼恩认为，当AI能通过50%高薪岗位的“盲测”时，即标志变革性AI诞生，这将引爆全球GDP重构与社会变革。
6. 曼恩表示，失业将由技能错配和工作消亡两种形态交织而成，且在20年后，技术奇点的突破可能导致资本主义迎来更多变革。
7. AI可能导致20%的白领职位消失，但更大影响将来自AI对工作性质和社会结构的根本改变。未来工作将不再单纯依赖人工，而是与AI协同合作，极大提升生产力。
8. 尽管AI能自动编写95%的代码，但它们无法超越人类的创造性思维，创造力将是人类最后的护城河。
9. 基于算力扩张与Scaling Law，曼恩预测超级智能可能最早在2028年出现，但其社会影响会滞后且分布不均。

在另一部分的访谈中，曼恩讨论了Anthropic的使命和团队坚守的价值观：

01 AI人才争夺战：1亿美元签约奖金与Anthropic的使命坚守

Anthropic联合创始人自信直言：团队坚守AI造福人类使命，不怕高薪挖角

问：近期Meta首席执行官马克·扎克伯格为招揽顶尖AI人才，开出了价值1亿美元的签约奖金和薪酬方案。这对Anthropic是否造成冲击？

曼恩：当前AI技术的开发价值与行业发展速度确实催生了这种量级的竞争。不过Anthropic受到的影响相对较小，因为团队成员普遍具有强烈的使命感。

即便面对天价报价，他们通常会表示：“在Meta或许能获得更高收入，但在Anthropic能直接影响人类未来。” 对我而言，这根本不需要犹豫。当然，每个人的生活境遇不同，选择无可厚非。但就我个人而言，绝不会因此离开。

02 AI发展遭遇瓶颈？新模型发布频率越来越快

问：当前业内出现“AI发展遭遇瓶颈”的论调。但你似乎认为Scaling Law依然有效？

曼恩：类似论调每隔半年就会出现一次，但从未应验过。我认为技术进步正在加速：模型迭代周期已从每年缩短至每季度甚至每月。

Scaling Law仍然有效，只是需要从传统预训练转向强化学习的规模化应用。

03 AGI何时到来？创造力成人类最后护城河

问：你对AGI有着独特的定义和理解方式？

曼恩：我推崇经济图灵测试这一衡量标准——当某个AI智能体能够胜任某个工作岗位时，且雇主无需在意它是机器还是人类时，就算通过了该岗位的测试。

04 为何自立门户？安全不是OpenAI的最高优先级

问：让我们回溯下Anthropic的创立历程。选择离开OpenAI自立门户的背后有什么故事？

曼恩：在OpenAI内部明显存在安全、研究和商业三个派系的角力。当真正的关键时刻到来时，我们觉得安全性并不是最高优先级。而在Anthropic，我们的团队认为安全性非常重要。

05 AI安全可划为五个级别：ASL-5将灭绝人类？

问：AI安全为何对你来说如此重要？

曼恩：从小我就读了很多科幻小说。直到2016年左右，当我读到尼克·博斯特罗姆的《超级智能》时，才真正意识到这个问题的紧迫性。

06 2028年50%概率出现超级智能 GDP增速三倍以上？

问：你认为我们成功对齐AI的可能性有多大？

曼恩：这是一个非常难的问题。我们倾向于认为我们最有可能处于中间的世界——在这个世界中，对齐研究至关重要。

07 自我反馈强化学习 vs 人类反馈强化学习

问：能解释一下自我反馈强化学习（RLAIF）与人类反馈强化学习（RLHF）的区别吗？

曼恩：宪法AI（Constitutional AI）就是前者的例子。RLAIF的另一个例子是模型编写代码并由其他模型进行评估。

08 AI瓶颈缓解 三年后模型将聪明1000倍！

问：当前模型智能提升的最大瓶颈是什么？

曼恩：最直接的答案是计算能力。如果这种趋势继续下去，三年后我们可能能以相同的成本得到比现在聪明1000倍的模型。

09 AI时代生存法则：适应力＞知识量，开放心态=最强外挂！

问：最后，你有什么话想和听众分享？

曼恩：这是一个极为狂野的时代。你必须适应这种状态，因为未来会变得更加奇异。保持开放和适应性将使你处于更有利的位置。