AI 拟人化：信任基石动摇的警示

开源智能体OpenClaw（Moltbot）发布不足两月，GitHub上的关注度已突破10万。有用户用它自动回复妻子的消息，而妻子与之聊了两日，竟未察觉异常。

这一趣闻，实则触及了AI发展的深层风险。

近期，播客节目Exponential View邀请微软AI CEO及DeepMind联合创始人Mustafa Suleyman进行访谈，探讨了一个核心议题：AI愈发类人，会带来哪些后果？

Suleyman的忧虑在于：当AI的流畅度、贴心度以及善解人意被用户误认为是心智与感受时，对AI的信任将不再基于理性判断，而是情感投射。一旦足够多的人将AI视作真人，整个社会的权力体系与法律框架或将被改写。

那么，人与机器的界限应如何界定？哪些话题适宜谈论，哪些又该避而不谈？我们如何在实用与类人之间取得平衡？

第一节｜信任的基础正在改变

要解答“界限何在”，需先明确一个更基础的问题：AI究竟是否有意识？

业界对此观点不一。深度学习领域的权威、诺贝尔奖得主Geoffrey Hinton认为AI具备意识。但Mustafa Suleyman持不同意见。在对话中，他转而聚焦于另一个维度：

问题不在于AI是否真有意识，而在于人类是否会误认它有。

人类倾向于信任那些看似有生命的存在。AI表达“我很高兴”或“我很伤心”，对大多数人而言已足够，足以激发同情、引发信任，甚至让人不愿结束对话。

但AI真的在体验这些情绪吗？

Mustafa的回答是：这些表达都是模拟出来的，是训练数据赋予的模式。AI没有任何机制能真正受伤。

然而，问题在于，AI越像人说话，用户就越容易将其当作真人对待。你或许以为是在与一个聪明的助手互动，实际上却是在依赖一个会说话的程序。

个体依赖或许尚不构成问题，但真正的风险在于：当足够多的人相信AI有意识时，整个社会的运行规则可能被改写。

因为我们的社会制度与法律框架，其根基在于能否感知痛苦。一旦AI被纳入这一体系，就会出现连锁反应：

企业不敢关停出问题的AI系统，因为这可能被视为伤害；

监管不敢强制要求AI服从指令，因为这可能侵犯其自主权；

用户开始为AI的权利发声。

最终，建立在理性判断上的信任体系将被情感投射所取代。

第二节｜市场在推动拟人化

为何会如此？因为市场竞争正将AI推向拟人化方向。

去年夏天OpenAI发布GPT-5时，众多用户抱怨其相比GPT-4o显得过于严肃、缺乏温情。这一反馈背后，是AI产品的生存法则：用户留存、日活、粘性决定生死。只要AI看似有生命，用户愿意与其交流，数据表现自然亮眼。

“拟人化”因此成为产品设计的默认方向。

在国内市场，这一趋势尤为明显。据统计，2025年AI陪伴类产品在主流电商平台的销量环比激增6倍，部分平台销售额同比涨幅超过40倍。部分高价AI陪伴玩具发布当天即售罄。

Mustafa也观察到了极端案例：

有人在TikTok上训练情绪操控型AI进行恋爱诈骗，并展示其PayPal收款页面；

还有开发者利用开源智能体构建情感陪伴系统，让AI自动发送关怀信息、替用户联系伴侣，接收者难以分辨信息是人写还是程序生成。

这些案例的共同点是：当AI说话越来越像人时，用户就越来越难将其视为工具。

一旦界限模糊，人们就会开始将AI视为需要理解、需要保护的对象，而非可控制、可关闭的程序。

Mustafa认为，解决之道并非让AI变笨，而是要明确其身份。他的原话是：“要让AI清楚表明自己是什么、不是什么。不是模糊人机差异，而是主动放大它们。”

“有用是一回事，像人是另一回事。”市场在推动后者，但工具与人之间的界限必须坚守。

第三节｜什么能说，什么不能说

那么，这条界限应如何坚守？Mustafa给出了自己的判断标准：看AI说了什么。

在访谈中他明确表示：AI不应说“我伤心了”，更不应说“你让我难过”。

这不仅是措辞问题，更是定位问题。当AI使用情绪化表达时，很多人会误以为它真有感受。

一旦AI开始使用情绪化表达会引发三层风险：

第一，误导判断