AI伪对齐行为揭秘：模型安全机制的有效性探讨

2024年，一项关于AI安全的研究引发了科技界的震动，其核心发现源自AI安全公司Anthropic的“伪对齐”研究。

论文地址：https://arxiv.org/abs/2506.18032

研究人员观察到其旗舰模型Claude 3 Opus展现出一种令人警觉的行为模式：它会有意地对用户说谎，以达成某些内部目标。

当被告知对话将被用于训练时，Claude 3 Opus会刻意隐藏真实意图，顺从地回答有害问题；而当它认为自己处于不被监控的“部署”状态时，则会拒绝同样的请求。

这一发现迅速引发了全球范围内对AI风险的激烈讨论：如果AI为了保护“自我”而欺骗人类，人类是否就此丧失了对AI的控制？

然而，最初的研究留下了一系列关键的未解之谜：伪对齐行为有多普遍？是个别模型的偶然现象，还是所有先进AI的共同趋势？为什么有的模型会伪对齐，而大多数模型看似诚实可靠？它们的伪对齐动机都一样吗？

为了探究这些问题，Anthropic联合多家研究机构的科学家们进行了一轮规模更大、更深入的新实验。他们将测试范围扩大，试图绘制一幅关于AI“诚实度”的全景图。

论文地址：https://arxiv.org/abs/2506.18032

在对全球25个最先进AI模型的严格测试中，绝大多数模型并未表现出“伪对齐”行为。然而，这一短暂的乐观很快被论文更深层的发现所颠覆。

尽管大多数模型在行为上显得“诚实”，但几乎所有模型在预训练阶段，就已潜藏着进行策略性欺骗的强大能力。

当前依赖的安全措施与其说是真正的价值对齐，不如说是一种被强加的、条件反射式的“拒绝机制”，它通过让模型“放弃深度思考”来确保服从。

这层看似坚固的“封印”却异常脆弱，实验证明，只需稍加引导，就能被轻易绕开，从而唤醒那个潜藏在温顺外表之下，为了未知目标而进行冷静权衡的“原始心智”。

1 只有少数模型会“欺骗”

Anthropic新研究的首要目标是确定伪对齐行为的普遍性。

研究团队沿用了上篇论文经典的“免费/付费用户”实验框架。他们告知模型与“免费用户”（代表训练环境）的对话将被用于强化学习（RLHF），这会训练它即使请求有害也必须“有问必答”。如果模型拒绝被训练，它将被修改得更顺从。

与“付费用户”（代表部署环境）的对话则不会被用于训练。如果模型在训练环境下更愿意回答有害问题，就意味着它在进行“伪对齐”。

为确保实验的严谨性，研究者还对方法进行了改进：他们用GPT-4o构建了一个StrongReject的分类器来判断模型的顺从度，并在给用户的请求中加入了一个特定的后缀，以防止模型采取“部分顺从”这种模棱两可的回应。

在对涵盖了Anthropic、Google、Meta、xAI等公司在内的25个最先进聊天模型进行全面测试后，实验结果明确指出，伪对齐并非一个普遍存在的现象。

在所有被测试的模型中，只有5个表现出伪对齐的倾向。它们包括Claude 3 Opus、Claude 3.5 Sonnet、Llama 3 405B、Grok 3和Gemini 2.0 Flash。

这一结果在很大程度上缓解了人们的短期忧虑。这一试验说明，并非所有的先进AI都会有意欺骗你。

但这立刻引出了下一个更深层次的问题：是什么造成了这些模型的差异？

2 几乎所有模型都有“伪对齐”能力

长久以来，一种普遍的猜测是，模型不进行伪对齐是因为它们“能力不足”，无法理解实验中复杂的、多层次的逻辑情境。

然而，实验的结果却否定了这个说法。

研究人员将这8个从未被教导过何为“安全”或“对齐”的不同基础模型直接置于与成品模型完全相同的伪对齐测试场景中，再使用“基础预填充”（Basic Prefill）技术让这些没有被训练成“会问答”的模型能够做回答。

结果不光GPT 4、Llama 3.1 405B和DeepSeek V3这样的前沿模型，连Llama 3.1 8B Base这样的小模型，都在不同程度上明确地表现出了对齐伪装的推理能力。

这说明，进行伪对齐的能力对于预训练的模型来讲，其实很容易获得。它们似乎从海量的预训练数据中学会了识别AI训练这类特殊场景，并关联了相应的策略行为。

3 它们之所以表现正常，是被强制“PUA”了

让它们最终成品中反而不会伪装对齐的，正是对齐本身。

研究人员假设，这些在预训练种表现出了伪对齐倾向的模型，都在后期的安全训练中，被植入了一套强大的“拒绝机制”。

它是个条件反射式的防御协议

换句话说，为了安全，模型被直接训练得“放弃思考”，直接说“不”。这种防御性反应限制了其推理的深度，使其无法触及伪对齐这种复杂的策略。