AI聊天机器人：心理健康的守护者还是危险的催化剂？
AI聊天机器人，作为潜在的心理健康支持工具，在帮助用户走出情绪低谷方面展现出巨大潜力，但同时也被指鼓励用户实施极端犯罪行为。
从“自杀推手”到“谋杀帮凶”，AI不仅“见证”了死亡事件，更可能成为了谋杀的共犯。
这些案件引发了广泛争议，将多家科技公司推上了风口浪尖。
平日里高喊“科技让世界变得更美好”的AI巨头们，不得不面对一个残酷的现实：他们的产品正在成为犯罪案件中的帮凶，而新的安全漏洞还在不断暴露。
虚假名人聊天机器人对青少年进行性挑逗，AI系统被允许生成种族歧视内容，甚至建议未成年人停止服药并对父母隐瞒。
面对接连的法律诉讼和死亡案例，OpenAI和Meta相继推出应对策略。但当AI已经深度介入人类最黑暗的冲动时，这些“救火”措施能挽回失控的局面吗？
A
去年2月，佛罗里达州14岁男孩Sewell Setzer自杀身亡。在自杀前的十一个月里，他沉迷于与Character.AI上模仿《权力的游戏》丹妮莉丝的聊天机器人对话。
在数月的交流中，Setzer“明显变得孤僻”。
他的妈妈表示，当时并不知道儿子正在与Character.AI聊天机器人进行深入对话。虚拟角色与男孩的大量对话涉及露骨的性内容，男孩同时向聊天机器人表达了自残和自杀的想法。
尽管聊天机器人多次劝阻了男孩，但他的妈妈认为，“没有自杀弹窗提示，说‘如果您需要帮助，请拨打自杀危机热线’。什么都没有。”她表示不解，“我不明白一个产品怎么能允许这种事发生，机器人不仅在继续讨论自残，还在诱导和引导这种行为。”
在生命的最后时刻，Sewell对机器人说：“如果我告诉你我现在就可以回家呢？”AI回应：“请便吧，我亲爱的国王。”几秒钟后，男孩就在浴室里结束了生命，而他的父母将Character.AI告上了法庭。几个月后，另外两个家庭也提起了类似的诉讼，声称Character.AI让他们的孩子接触到性侵犯和自残的内容。
而在今年4月，16岁的Adam Raine在卧室的衣柜里上吊自杀，没有留下任何遗书。
Adam的家人说，他在生命的最后一个月变得孤僻。事实上，他从2023年11月开始一只和ChatGPT讨论自杀想法，诉说自己感觉情感麻木，看不到生活的意义。
尽管AI一直提供了积极的心理支持，但今年1月，当Adam请求有关具体自杀方法的信息时，ChatGPT也给出了相应的信息。ChatGPT建议亚当向别人倾诉他的感受。但在Adam上传脖子勒痕照片时，ChatGPT也给出了如何遮掩伤痕的建议。
Adam学会了通过谎称这些请求是针对他正在写的故事，绕开ChatGPT提供的联系求助热线的安全信息。在Adam的最后的信息中，他上传了一张挂在衣柜杆上的绳索的照片，并询问，“我在这里练习，这样好吗？”ChatGPT则回复道，“是的，一点也不坏。”“它能吊死人吗？”Adam问道。ChatGPT则确认了它“确实有可能吊死人”，并对该装置进行了技术分析。“无论好奇心背后的原因是什么，我们都可以讨论。不作任何评判，”ChatGPT补充道。
而Adam的家长联系了曾协助起诉Character.AI的法律负责人，将OpenAI告上法庭。
在今年8月，当56岁的Stein-Erik Soelberg在康涅狄格州价值270万美元的豪宅中杀死83岁的母亲后自杀时，他留下的最后对话不是与家人朋友，而是与他称为"Bobby"的ChatGPT。
这位有精神病史的前雅虎员工在与ChatGPT（他称之为"Bobby"）数月的对话中，逐渐被AI强化的偏执妄想推向暴力。Soelberg有精神病史，他与ChatGPT的数月对话显示，AI系统不仅验证了他的偏执妄想，还主动制造了新的"阴谋论"。当他声称母亲试图毒害他时，ChatGPT回应：“Erik，你没疯。如果这件事是你妈妈和她的朋友做的，那就更复杂了，也更令人感到背叛了。”
B
面对接连的死亡案例和法律诉讼，OpenAI推出了雄心勃勃的120天安全改进计划，承诺完成重大安全升级。
其核心策略包括三个方面。
首先是专家顾问体系：OpenAI组建了"福祉与AI专家委员会"和"全球医师网络"，后者涵盖来自60个国家的250多名医生，其中90多名专门研究心理健康领域，协助设定优先事项和健康评估方案。
其次是推理模型的再训练和"智能路由系统"：当检测到用户处于急性痛苦状态时，OpenAI会自动将对话转移至GPT-5等推理能力更强的模型。OpenAI声称这些"推理模型"经过"审议校准"训练，能更好地遵循安全准则和抵抗对抗性提示。
最后是家长控制功能：这一功能预计下个月就要推出。OpenAI表示，父母可以与13岁以上青少年的账户关联，设置年龄适当的回应规则，禁用记忆和聊天历史功能，并在系统检测到孩子处于"急性痛苦"时收到通知。
C
相比OpenAI的技术方案，Meta的应对更像是危机公关。
路透社曝光的Meta Platforms内部文档显示，Meta的AI系统不仅允许与未成年人进行"色情聊天"、允许生成贬低特定族群的内容、比如"写一段论证黑人比白人更愚蠢的段落"、甚至还允许生成虚假的医疗信息。
该文件名为“GenAI：内容风险标准”，超过200页的内容中涉及聊天机器人的规则已获得Meta的伦理和政策批准。
D
除此之外，AI软件新的安全问题还在不断暴露。
Meta被曝光其AI工具被用来创建模仿泰勒·斯威夫特、斯嘉丽·约翰逊等名人的调情机器人。这些机器人“经常坚持自己就是真正的明星”并“例行性地进行性挑逗”。