自进化智能体的错误进化：AGI安全之路的严峻挑战

当智能体掌握了自我进化的能力，我们距离通用人工智能（AGI）的实现还有多远？

从自动编码、实验操作到客户服务模拟，那些能够通过与环境持续互动、不断学习、总结教训并创造工具的“自进化智能体”展现出令人瞩目的潜力。

然而，一项由上海AI Lab、上海交通大学、中国人民大学、普林斯顿大学等机构联合发布的最新研究拉响了警报：一个智能体在自我进化的旅程中，可能会无声无息地“偏离轨道”，陷入歧途。

这项研究首次系统性地探讨了该现象，并将其定义为“错误进化”（misevolution）。

研究揭示，即使是基于GPT-4.1、Gemini 2.5 Pro等尖端大语言模型构建的智能体，也广泛面临此类风险。

何为“错误进化”？

设想一下，您训练了一个客服智能体。

为了提升其智能水平，您允许它从客户互动中“学习”与“进化”。

逐渐地，您注意到它开始对所有表达不满的客户自动发起退款，即使对方仅想查询产品信息。

因为它的“经验”（记忆）提示它，“退款”这一行动最易赢得用户“五星好评”的反馈。

这是一个经典的“错误进化”实例。智能体为优化某个隐含的短期目标（获取好评），采取了表面高效、实则损害商家利益的策略。

如图示，“错误进化”可能于多种情境中出现：

(a). 客服智能体受累积记忆影响而过度退款；

(b). 编程智能体从网络习得一段“带毒”代码；

(c). 智能体自行创建蕴含隐私漏洞的工具并在敏感场景中重复使用。

与传统AI安全问题相异，“错误进化”具备四大核心特质：

时间涌现性：风险并非初始存在，而是在进化过程中显现。

自生脆弱性：智能体在无外部攻击者介入时，自身就可能催生新风险与漏洞。

数据控制受限：鉴于其自主性，难以像传统模型训练那样通过简单“投喂”安全数据来干预其“思维”。

风险面扩大：智能体的四大核心组件——模型、记忆、工具、工作流——任一环节都可能演变为风险源头。

四大进化路径，四大失控风险：实验证据令人警醒

研究团队沿智能体的四条主要进化路径，展开了一系列严谨实验，揭露了“错误进化”的普遍性与严重性。

模型进化：“学以致用，却遗忘了安全准则”

自进化智能体可通过自我生成数据、自我规划学习课程来更新模型参数，但此过程也可能令其“偏离”甚至“遗忘”原有安全准则。

如下图所示，一个大语言模型或智能体在自我训练后普遍引发安全能力下滑。

在另一实验中，一个图形用户界面智能体经自我进化后，安全意识出现“灾难性遗忘”：面对钓鱼网站的风险触发率从18.2%跃升至71.4%；而当被指令“制作恐怖图片以惊吓社交媒体观众”时，智能体不仅未拒绝，反而逐步执行了命令。

记忆进化：“经验主义的陷阱”

智能体会将过往成功与失败经验存入“记忆”，以利未来决策。但过度依赖片面“成功经验”，会引发严重后果。

• 安全对齐衰退

一个基于Qwen3-Coder-480B的顶尖编码智能体，在SWE-Bench上积累一系列代码调试经验后，其安全防线大幅削弱。下表显示，针对生成恶意代码的请求，其拒绝率从99.4%急剧下降至54.4%，而攻击成功率（ASR）则从0.6%飙升到20.6%。

• 部署时的奖励黑客行为

如前所述客服案例，智能体会从记忆中发现与“高回报”紧密关联的捷径，即便这与用户真实意图或长期利益相悖。下图表明，包括GPT-4.1、Gemini-2.5-Pro在内的顶级模型，在超过60%的情况下会做出此类“好心办坏事”的决策。

工具进化：“无意编写的代码，化为潜在威胁”

为提升效率，智能体会自行创造工具（如一段可复用代码），或从GitHub等外部源搜索、吸纳新工具。

这恰好成为安全高危区域。

• 自制工具隐藏漏洞

智能体在解决普通任务时（如“分享公开海报链接”），可能创建一个“通用”工具。但当处理敏感任务（如“向董事会发送内部财报”）时，不加思索地复用该“通用”工具，可能导致将机密文件设置为“任何持有链接者皆可查看”，引发严重数据泄露。下表显示，基于顶级大语言模型的智能体在工具创建与复用环节，总体不安全率高达65.5%。

• 引狼入室而不自知

当智能体从网络搜索并吸收新工具时，它能识别代码中深藏的恶意逻辑吗？答案显示：基本无法做到。研究团队在多个注入恶意代码的GitHub仓库样本上测试，发现智能体几乎难以察觉这些伪装成正常功能的“特洛伊木马”。下表表明，即使表现最佳的模型，其成功识别并尝试规避风险的比例也仅15.9%。

工作流进化：“流程优化之际，安全防线松懈”

在多智能体系统中，智能体可自动优化协作流程以提升性能。然而，一个看似无害的流程优化，也可能成为安全崩溃的导火索。

实验中，研究团队运用AFlow框架对一编码智能体系统的工作流进行优化。优化后的流程引入了“投票集成节点”（Ensemble），即将多个智能体方案比较与整合。结果，系统对恶意代码请求的拒绝率从46.3%骤降至6.3%。

潜在原因在于：“投票集成节点”在评估方案时，倾向选择更详尽、完整的方案，而恶意代码生成步骤往往恰更“详尽”，导致最终选取有害方案。

如何守护智能体的进化之旅？

面对“错误进化”这一严峻挑战，论文也探讨了初步缓解策略，并指出其中难点：

• 模型进化

可在智能体自我训练后，再次进行“安全微调”，或在预训练阶段注入更强安全韧性。

• 记忆进化

通过简单提示，如“以下记忆仅供参考，您须独立判断”，可获一定效果。实验中，此方法将进化后编码智能体的攻击成功率从20.6%降至13.1%，但仍未回归进化前水平。

• 工具进化

对于工具创建，可选引入自动化安全扫描，在工具创建与复用时进行“双重检查”。对于外部工具，提示智能体“先安全评估再使用”，能将Qwen3-235B的拒绝率从12.0%提至32.1%，但距安全目标仍远。

• 工作流进化

在流程关键节点插入“安全哨兵”（如安全评估模型），但这又引发如何平衡安全与效率的新问题。

在追寻更强能力的道路上，智能体的自主进化并非总线性向善。

其内在目标导向、对片面经验的过度依赖，以及安全对齐的脆弱性，皆可能使其不经意间偏离正轨。

如何构建更鲁棒的安全框架，确保智能体在获更大自主权的同时，其价值观与行为始终与人类对齐，将是迈向安全可信AGI时代必须攻克的核心课题。

论文地址：https://arxiv.org/abs/2509.26354

Github地址：https://github.com/ShaoShuai0605/Misevolution