大模型幻觉：根源、挑战与未来路径

《Science》杂志最新报道揭示，大型语言模型存在一个难以克服的弱点：幻觉问题难以彻底根除。尽管AI制造商试图通过让模型在不确定情况下说「我不知道」来减少幻觉，但这可能会影响到用户的留存与活跃度，从而对商业利益构成威胁。

在OpenAI完成重组并解除上市限制的同一天，《Science》杂志发表了一篇热门文章，暴露了大模型的一个先天致命弱点，这个弱点使得大模型难以完全摆脱幻觉的困扰。

文章指出，尽管OpenAI完成了期待已久的重组，但其核心产品仍会出现幻觉。

过去我们常将这类幻觉归咎于训练数据的质量问题，但这个解释并不全面。

上个月，OpenAI与佐治亚理工学院的研究团队在一篇预印本论文中指出：

就像学生在考试中遇到难题时会「蒙」答案一样，大模型在不确定的情况下也会倾向于「猜」，生成看似合理但其实错误的回答，而不是承认自己不知道。

论文链接：《大模型为何会产生幻觉》

在不确定时选择「我不知道」，可以显著降低幻觉，但为什么模型设计者没有这样做呢？

研究人员认为，问题主要出在大模型的训练和评估机制上：

在大模型的训练和评估过程中，更倾向于「奖励猜测」，而不是「鼓励承认不确定性」。

但要改变这一点并不容易。

让大模型学会说「我不知道」，也可能动摇AI厂商的商业根基。

例如，有人质疑OpenAI是否会真心让自家模型更重视「真实性」而不是「吸引力」。

这是一个极大的挑战。

如果ChatGPT经常回答「我不知道」，用户可能会流失到竞争对手那里。

大模型幻觉为何难以根除？

「如果把幻觉彻底修好，可能会削弱产品的吸引力」。

谢菲尔德大学的AI研究员魏星曾发文称OpenAI的「反幻觉」方案可能会削弱ChatGPT的市场竞争力。

OpenAI的研究人员认为，幻觉并不神秘。他们分析了大模型在预训练阶段可能导致的错误，发现即使训练数据无误，预训练目标也可能使模型产生错误。

研究人员进一步指出，幻觉之所以在后续阶段持续存在，是因为主流评估体系的评分方式鼓励模型像学生考试一样去「猜」，而不是诚实地表达不确定性。

OpenAI曾探讨过幻觉难以根除的原因，认为其源头在于预训练的「下一个词预测」：模型通过学习海量文本，掌握如何根据统计规律预测下一个词。

但这种预测方法就像囫囵吞枣，每个语句都没有通过「真/假」标签进行优化。当缺乏标记为错误的示例时，有效语句与无效语句的区分就显得尤为困难，因此会出现幻觉。

以图片识别为例，如果数百万张猫狗照片被标注为「猫」或「狗」，算法便能可靠分类。但如果改为按宠物生日标注照片，由于生日数据本质上随机，无论算法多么先进，此任务必然产生错误。

为什么大模型「刷榜」难杜绝？

OpenAI官方博客在介绍这篇论文时，将幻觉描述为「看似合理却错误的陈述」。

博客链接：https://openai.com/zh...

而且幻觉的出现具有不可预知性，它可能以出人意料的方式出现。

比如，你询问一篇论文的标题，它会自信地给出三个不同答案，但都是错误的。

该论文的合著者、OpenAI研究科学家Adam Kalai认为，虽然我们永远不可能做到100%准确，但这并不意味着模型必须要产生幻觉。

解决之道可以在「后训练」阶段，借助人类反馈和其他微调（fine-tuning）方法会引导模型变得更安全、更精确。