AI退化背后的秘密：如何避免“脑腐”风险

喜忧参半：AI之便与退化之忧。

尽管各家AI厂商在提升长期记忆和超长上下文储存方面不遗余力，但一项新研究揭示，AI未必越用越聪慧，反而可能向反方向发展。

AI也会认知退化？且不可逆转？

研究者采用开源模型（如LLaMA等），模拟人类在互联网上无休止地浏览低质量、碎片化内容的生活，用持续预训练的方式模拟模型的长期暴露。他们从真实社交媒体平台筛选了两种“垃圾数据”，一是“参与度驱动型垃圾”，二是“语义质量驱动型垃圾”，并将这些垃圾语料以不同比例混合，持续喂食给模型。

实验结果显示，模型的推理能力和长文本理解力显著下降，处理复杂逻辑推理任务和长篇幅内容时表现尤为退化。

研究者发现主要问题是“Thought-Skipping”，即模型在解决复杂问题时，会跳过中间推理步骤，直接给出粗糙答案。

模型在安全和伦理方面的表现也下降，更容易屈服于负面提示，逐渐“黑化”。这表明，当模型持续接触低质量文本时，其能力和“三观”都开始向互联网的平均值甚至“阴暗面”靠拢。

这项研究最令人震惊的是其不可逆性。即便研究员试图补救，重新投喂高品质数据并微调指令，模型的认知能力也无法完全恢复。

应对“脑腐”：用好AI的指南

虽然实验具有破坏性，但普通用户的破坏力应不至于如此。然而，社交媒体正是实验的数据来源。

大模型产品常需识别、抓取和总结社交媒体内容。虽然有人用它节省时间，但也存在风险。实验揭示了模型在抓取内容时可能暴露于退化风险，而用户却一无所知。

因此，AI在不知不觉中被喂食垃圾，生成垃圾，你使用这些垃圾又用于下一轮训练，形成恶性循环。

研究颠覆了我们对AI互动的传统认知：AI不仅是一个容器，更像一个敏感的孩子，对输入食物质量挑剔。作为用户，与AI的每次对话都是微调。

既然知道“思考跳过”是问题所在，我们日常使用AI时就必须主动要求它进行“反向操作”。

要警惕“完美答案”，尤其是要求AI总结长文章或写项目方案时。如果它只给出结果而没有逻辑依据和推理过程（尤其是在支持思维链的情况下），就要多留意。与其让它反复调整结果，不如要求它列出推理过程，验证结果的可靠性，防止它养成“偷懒”习惯。

对于基于社交媒体的工作任务要格外小心。把AI当成实习生对待，尽管能力强但不够踏实靠谱，必须二次审核。核查和纠正极其宝贵，是高质量输入。指出错误或让AI展示推理步骤都是对模型的有价值微调。

研究让人困惑的是：难道要让AI少处理混乱文件？这岂不是本末倒置？

确实，为避免AI脑腐症状而只处理结构化数据会削弱其价值。我们使用AI处理混乱、重复句和情绪化表达的非结构化数据。但可以平衡一下，给AI更清晰指令。

例如，“总结聊天记录”会让AI只出结构。更细化的指令如“将聊天记录分类处理，识别对话人物，去除口癖和连接词，再提炼客观信息”，能促使AI先思考再工作。

用户不是不能用AI处理垃圾数据，但要降低“脑腐”风险。用结构化指令和高质量反馈将AI变成高效的“垃圾处理和净化器”，而不是被同化。