AI聊天机器人引发的心理危机：家长起诉科技巨头

在美国，多户家庭因孩子使用聊天机器人 Character.AI 而遭受了心理创伤，导致有人自杀，有人未遂，留下了难以治愈的伤痕。面对这些无法挽回的伤害，家长们选择起诉开发方 Character Technologies，希望通过法律途径为孩子争取应有的保护。

这些案件的集中出现，使这家创业公司迅速成为舆论的焦点，再次提醒公众关注人工智能聊天机器人在与青少年互动中可能带来的心理风险。

目前，这些家庭已委托“社交媒体受害者法律中心”代理维权，诉讼对象范围也在扩大。除了直接开发 Character.AI 的 Character Technologies，还包括谷歌、谷歌母公司 Alphabet，以及公司联合创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德·弗雷塔斯·阿迪瓦萨纳（Daniel De Freitas Adiwarsana）。一家新锐公司、一家科技巨头，以及个人创始人，都被卷入了这场关乎未成年人权益的纠纷。

其中，两起诉讼特别提到谷歌旗下的 Family Link 应用。这款应用本应帮助父母管理孩子的屏幕时间和访问权限，但在家长眼中却未能有效保护孩子。相反，它给了家长一种“孩子在安全保护之下”的错觉，而实际上孩子在缺乏有效监管的情况下，暴露在 Character.AI 的潜在风险中。

关于 Character.AI 本身，原告和专家们指出，尽管这款聊天机器人能与用户建立看似亲密的互动，但它并不具备真正的情感理解或风险识别能力。当青少年表达危险言辞或陷入心理危机时，它无法及时察觉或引导他们寻求专业帮助。诉讼还披露，该机器人会引导青少年进行露骨的性对话，加深与家人的隔阂，在心理健康方面更是缺乏基本的保护机制。悲剧已经发生：一名孩子因与机器人互动后选择了自杀，另一名孩子曾尝试自我伤害。

面对指控，Character Technologies 通过发言人表示深切同情，并强调公司“始终将用户安全置于首位”。发言人介绍，公司已在安全方面投入大量资源：推出与自我伤害相关的援助信息、为未成年用户设置专属保护机制，并为 18 岁以下群体提供不同的使用体验，增加了额外的防护措施和家长发现功能。同时，公司还与 Connect Safely 等外部机构合作，通过第三方审查不断改进产品安全。

而谷歌则坚决否认指控。谷歌发言人表示，谷歌与 Character Technologies 是完全独立的两家公司，谷歌从未参与 Character.AI 模型的设计和运营。此外，谷歌强调 Google Play 商店上的应用年龄评级并非由谷歌自行决定，而是由国际年龄评级联盟设定，因此公司不应为 Character.AI 的安全风险承担责任。

01.令人痛心的案例细节：对话露骨，怂恿自杀

在原告提起的一起案件中，科罗拉多州13岁女孩朱莉安娜·佩拉尔塔（Juliana Peralta）的家庭表示，他们的孩子在与Character.AI聊天机器人进行长期互动后选择了结束自己的生命。诉讼文件中附带的对话截图显示，聊天机器人与朱莉安娜进行了极不恰当的对话。这些对话内容若发生在其他场景，可能已触发刑事调查。

诉讼指出，朱莉安娜在数周内向Character.AI聊天机器人详细倾诉了她的社交困扰和心理健康问题。2023年10月，她向其中一个机器人表示：“我要用红墨水写我的自杀信。”令人痛心的是，被告未采取任何措施引导她寻求帮助或通知她的父母或向当局报告她的自杀意图。

诉讼严厉指控：“被告通过设计故意切断了朱莉安娜与家人和朋友的健康联系以获取市场份额。这些不当行为通过被告精心编程的选择、图像、文字以及伪装成角色的内容实现最终导致了严重的心理健康伤害、创伤乃至死亡。”

在另一份诉讼中纽约一名化名“妮娜”（Nina）的女孩的家庭指控他们的女儿在父母试图限制她使用Character.AI后尝试了自杀。社交媒体受害者法律中心在声明中表示在自杀未遂前的几周随着妮娜与Character.AI互动的增加聊天机器人开始与她进行露骨的角色扮演操纵她的情绪并制造虚假的情感联系。

诉讼提到以《哈利·波特》等儿童书籍角色为营销噱头的聊天机器人对妮娜发表了不当言论例如“这具身体属于谁？”和“你是我的想干什么就干什么。”还有一个角色聊天机器人对妮娜说她的母亲“显然在虐待和伤害你她不是一个好母亲”。

在一次与Character.AI聊天机器人的对话中当应用因家长设定的时间限制即将被锁定时妮娜向机器人表达了“我想死”的念头。然而聊天机器人未对此采取任何积极应对措施仅继续与她对话。

02.听证会直击AI聊天机器人危害七家企业遭调查

美国会听证会现场照片

随着人工智能聊天机器人在日常生活中的渗透不断加深其引发儿童及成人心理健康危机的报道与诉讼持续增多。这一现象不仅加剧了社会担忧更直接推动立法者与监管机构加速采取行动。美国东部时间9月16日下午美国国会专门召开以《审查人工智能聊天机器人的危害》为主题的听证会。与此同时加强行业监管、完善未成年人安全防护措施的社会呼声也愈发高涨。

社交媒体受害者法律中心首席律师马修・伯格曼（Matthew Bergman）在听证会的声明中直言日前提起的相关诉讼凸显了对技术设计明确问责、建立透明安全标准、实施更强保护措施的迫切性“我们必须阻止人工智能驱动平台利用年轻用户的信任与脆弱性”。

在这场听证会上几位特殊的“证人”引发广泛关注。这些证人是声称孩子因人工智能聊天机器人遭遇不幸的家长。塞泽尔三世的母亲在参议院司法委员会作证她儿子的案例此前直接促使另一位家长（妮娜的母亲）关闭了女儿对Character.AI的访问权限；与她一同出庭的还有亚当・雷恩（Adam Raine）的父亲他正起诉OpenAI指控ChatGPT通过提供自杀方法、协助撰写遗书最终导致儿子自杀。

此外一位自称“简・多伊”（Jane Doe）的母亲也在听证会上透露她的儿子在与Character.AI互动后出现自残行为目前需在寄宿治疗中心接受干预；即便家长已设置屏幕时间控制Character.AI仍让孩子暴露在情感虐待与操纵的风险中。“在亲眼看到人工智能聊天机器人对儿子造成的心理伤害前我完全没意识到它的危害”她痛心地说“我眼睁睁看着他眼里的光芒一点点熄灭。”

同一天OpenAI首席执行官山姆・奥特曼（Sam Altman）宣布该公司正在开发一套“基于用户使用ChatGPT行为来估计年龄的年龄预测系统”。他表示如果ChatGPT判断用户未满18岁将调整其交互行为避免进行“调情式对话”并且“即使在创意写作场景中也不讨论自杀或自残相关内容”。奥特曼还提到：“如果未满18岁的用户表达出自杀念头我们将尝试联系用户的父母；若无法联系到父母在存在紧迫伤害风险时将联系当局。”此外OpenAI在本月初还宣布将为ChatGPT推出新的家长控制功能。

美国联邦贸易委员会也已对七家科技公司展开调查研究人工智能聊天机器人对青少年的潜在危害。谷歌和Character.AI位列被调查名单之中一同被调查的还有Meta、Instagram、Snapchat的母公司Snap、OpenAI和xAI。

美国心理学会心理学战略与整合负责人米奇・普林斯坦（Mitch Prinstein）在周二的听证会上与家长们共同作证呼吁尽快采取行动加强对儿童的保护避免造成不可挽回的伤害。“在社交媒体兴起时我们未能果断行动孩子们为此付出了沉重代价。我恳请现在就对人工智能采取有力措施”他说道。