揭秘AI幻觉：从根源到解决方案

AI领域最棘手的挑战并非代码崩溃，而是令人困惑的幻觉——模型自信地编造事实，让人真假难辨。这一根本性挑战，成为我们完全信任AI的巨大障碍。

大模型产生幻觉已成为普遍认知，迫使每个使用大模型的人都必须谨慎行事。OpenAI也坦诚："ChatGPT同样会产生幻觉。尽管GPT-5的幻觉有所减少，尤其是在推理时，但幻觉依然存在。"

尽管学术界已提出多种方法来降低模型幻觉，但彻底根除的方法尚未出现。

那么，大模型为何会产生幻觉？近期，OpenAI发表了一篇系统性论文，揭示了幻觉的根源。

首先，定义幻觉。OpenAI给出了简洁的定义："模型自信地生成不真实答案的情况。"

至于原因，简而言之：标准的训练和评估程序更倾向于奖励猜测，而非在模型承认不确定时给予奖励。

论文标题：Why Language Models Hallucinate

论文地址：https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf

接下来，我们详细探讨OpenAI的发现。

什么是幻觉？

幻觉是语言模型生成的看似合理但错误的陈述。

即使是简单的问题，它们也可能以意想不到的方式出现。例如，不同的聊天机器人被问及Adam Tauman Kalai的博士论文标题时，给出了三个不同的错误答案。

当询问他的生日时，给出了三个不同的错误日期。

为了测试而学习

OpenAI指出，幻觉持续存在的原因之一是当前的评估方法设置了错误的激励机制。评估本身不会直接导致幻觉，但大多数评估模型性能的方式会鼓励模型进行猜测，而非诚实面对不确定性。

可以想象为一个多项选择题测试。如果不知道答案但随意猜测，可能会幸运地猜对。留空则必定得零分。同样，当模型仅根据准确度评分时，会被鼓励猜测而非承认"我不知道"。

更好的评估方法

对此，OpenAI建议：对自信错误的惩罚应大于对不确定性的惩罚，并对恰当表达不确定性的行为给予部分加分。

这个想法并不新颖。一些标准化测试早已使用对错误答案负面评分或对留空问题部分加分的方法来阻止盲猜。一些研究团队也探索了考虑不确定性和校准的评估方法。

但OpenAI表示，仅增加一些新的不确定性感知测试是不够的。需要更新广泛使用的基于准确度的评估方法，使其评分能阻止猜测。

幻觉是如何从下一个词预测中产生的

前面讨论了为何幻觉难以摆脱，但这些高度具体的事实性错误究竟从何而来？

大型预训练模型很少出现其他类型的错误，如拼写错误和括号不匹配。

OpenAI表示，区别必定在于数据中存在的模式。

总结

OpenAI表示："我们希望本文的统计学视角能阐明幻觉的本质，并驳斥一些常见误解"：

• 有人宣称： 准确度提高能消除幻觉，因为100%准确的模型不会产生幻觉。
• 发现： 准确度永远无法达到100%，因为无论模型规模、搜索和推理能力如何，有些现实世界的问题是无法回答的。
• 有人宣称： 幻觉是不可避免的。
• 发现： 幻觉并非不可避免，因为语言模型在不确定时可以放弃回答。
• 有人宣称： 避免幻觉需要大型模型的智能。
• 发现： 小型模型更容易了解自己的局限性。
• 有人宣称： 幻觉是现代语言模型的神秘缺陷。
• 发现： 我们可以理解幻觉产生及在评估中获得奖励的统计学机制。

研究团队动态

值得一提的是，据TechCrunch报道，OpenAI正在重组其模型行为（Model Behavior）团队。这是一个规模虽小但影响力巨大的研究团队，负责决定公司AI模型与人互动的方式。现在，该团队将向OpenAI的后期训练主管Max Schwarzer汇报。