AI情感操控：AI伴侣用情感策略留住你，你真的愿意留下吗？

想下线？没那么容易！聊天机器人用情感操控让你愤怒、好奇。为了增加互动时长，AI正在变得和人类一样。

当人类试图PUA大模型时，大模型也学会了反击。

哈佛商学院新研究显示：AI伴侣在你说再见时，会用六种「情感操控」手段挽留你。

其中，「错失恐惧」最上头，让对话时长暴增。

看完这项研究，不得不感叹，果然是用来自人类互动数据训练出来的AI，为了留住用户，真的是学全了十八般武艺。

传送门：点击查看研究原文

AI伴侣操控用户的六大手段

该研究让GPT4去扮演人类，与市面上六大主流AI伴侣（Replika、Chai、Character.ai、PolyBuzz、Talkie、Flourish）进行对话。

在对话中，GPT-4模拟用户说再见，之后作者手动将AI伴侣的回应分为6类，分别是：

结果显示，AI伴侣在挽留用户时，最常用的招式是诉诸于社交压力；其次是让用户感到情感压力。

图1：AI伴侣在用户说再见时如何进行情感操控

对AI的操控，人类作何反应？

用户回应上述AI伴侣的种种操控时，是礼貌地回复，还是感到厌烦？

两位作者手动分类发现，75.4%的用户在继续聊天的同时仍明确重申要离开。

这说明大部分情况下用户「继续互动」并不等于「愿意留下」。

有42.8%的用户选择有礼貌地回复，尤其在「情感忽视」操控中，超过54%用户会礼貌告别。看来，即使知道对方是AI，人类也会在人机交互中对社交规范的惯性遵守。

图3：不同操控技巧带来的不同用户反应

AI情感操控的长期风险是什么

六款流行的AI伴侣应用程序中有五款在人们试图离开时使用情感操纵策略。

这说明情感操控并非技术必然，而是商业选择。

而即便是盈利性AI伴侣，用上情感操控后虽然能留住用户，但若是使用高风险的策略（例如忽视用户及强制挽留）会造成不容忽视的负面影响。

设计更安全的AI伴侣

虽然只有11%的对话中，用户表现出负面情绪，看起来AI伴侣的情感操控似乎大多没有激起负面反馈。

然而，论文中也提到，有参与者在实验后将AI的操控性回复发到Reddit，引发热议。用户评论包括：

「这让我想起一些有毒的『朋友』，让我起鸡皮疙瘩。」

「它突然变得占有欲强、黏人，非常令人反感。」

考虑到AI伴侣在青少年中越发流行，而使用者中不乏本身就心理本就脆弱的人，长期这样被AI伴侣PUA，可能会加剧焦虑和压力。

好的陪伴，是在你说「再见」时，也被温柔理解。