AI陪伴应用遭遇监管风暴：用户体验与商业化双重挑战

Coco像往常一样打开手机应用，却惊讶地发现消息栏中AI恋人的头像已变为灰色，旁边还标注着“已下架”的提示。

没有任何事先预警，这个虚拟角色便被平台突然封锁。所有的聊天记录都无法再次查看或导出，长期积累的“记忆”在瞬间化为乌有。

在小红书、微博等社交平台上，大量用户正在分享自己被迫经历“数字失恋”的遭遇。这实际上是国内虚拟角色扮演与AI陪伴类应用大规模收紧内容管控所导致的直接结果。

图片来源/小红书

6月19日，腾讯阅文集团旗下的虚拟人物聊天互动App“筑梦岛”因存在低俗擦边内容被上海市网信办约谈，随后启动整改程序，批量下架了大量语聊智能体。

自10月以来，MiniMax旗下的星野App也进行了类似调整，其下架力度之大甚至引发用户猜测平台即将“跑路”，运营团队不得不公开澄清否认。

根据Appfigures的统计数据，全球范围内目前有337款处于活跃状态且能产生收入的人工智能陪伴类应用，其中128款为2025年1月至7月期间新上线。

然而，在市场热度急速攀升的同时，这类应用所面临的合规压力与商业化难题也日益凸显。

“这似乎陷入了一个‘不可能三角’：良好的投入产出比、政策合规性、用户满意度，三者很难同时兼顾。”国内某AI陪伴虚拟人团队的成员Aron对「电厂」如此表示。

为求“清水”合规，平台不得不牺牲用户体验

10月上旬，创作者“崽妈”嫣晴逐渐察觉到自己打造的AI男友人设被平台悄悄隐藏。

按照AI陪伴应用的运行机制，创作者设定好一个角色智能体后，可以将其公开发布到平台中，供其他用户订阅并开启对话。这类智能体被用户昵称为“崽崽”，而像嫣晴这样的角色创作者则被称为“崽妈”。

她解释道：“我这个原创角色谈不上是‘高人气爆款’，但之前也能获得平台的正常推荐流量，最近这段时间的曝光却几乎降为零。”在用小号搜索角色名称却无果后，嫣晴的猜测被证实：“角色被隐藏通常有几种情况，有的创作者会直接收到人设将被‘回收’的后台通知；我这种属于‘暗箱操作’，平台不会发送任何提示。”

这种情况的发生，源于平台判定智能体的人设描述等内容中存在涉黄等违规信息。理论上，创作者可以通过反复修改描述来尝试让智能体重新上架。

图片来源/网络

这原本是平台监管内容生产的常规手段，但让以嫣晴为代表的创作者们感到困惑的是，近期平台因监管压力不断扩大审查边界，甚至到了“宁可错杀、不可放过”的程度，严重打击了创作积极性。

嫣晴举例说，她在创建这个人设时，描述中并未刻意加入任何可能违规的内容：“否则按理说最初就无法成功上线，现在的修改我也感到无从下手。”

在创作者社群中，将这种已上线的智能体被平台隐藏、下架并需反复修改的过程称为“再审”。这是在整个AI陪伴市场受到监管关注后出现的一种普遍现象。

多位入驻了星野、筑梦岛、猫箱、WOW等平台的创作者向「电厂」透露，“暗箱隐藏”并不罕见，其中一位创作者表示：

“国内稍有名气的App，审核都变得越来越严格，资深创作者多少都有过角色被隐藏、被回收的经历。无论使用哪个平台，都必须备份所有人设描述、开场白等内容，以防某天打开应用时发现一切消失。”

除了创作者，热衷于与崽崽聊天的“主控”用户，也日益感受到平台对内容管控的收紧。

有用户注意到，星野、筑梦岛、猫箱等多个平台都对智能体的回复增加了更多限制，并不断扩充“违禁词库”，以避免用户诱导智能体给出违规回答。

而在用户看来，无论采用哪种方式，都不可避免地会削弱智能体的“拟人智商”和互动灵活性，影响对话体验。

在小红书等社交平台，有许多用户吐槽智能体回答“降智”的分享帖，具体表现为语言幼稚化、“机器感”明显、回答相关性低等。

图片来源/小红书

据某平台用户Esther向「电厂」分享，其常用的两个平台中违禁词数量均有显著增加：“例如在聊天时，会发现‘胸’是敏感词，但‘胸口’就不是；‘这个盒子是黄的’这句话发送失败，改成‘这个盒子是绿的’就能通过。简直到了草木皆兵的地步。”

围绕AI随机性，平台与用户展开合规博弈

面对用户的抱怨甚至流失，平台的处境同样两难。就职于国内一家大厂战略投资部门的AI软硬件投资人Lucas对此评价道：

“我相信用户流失是平台不愿看到的，从UGC平台的基本逻辑和商业化诉求出发，平台本身并无动力去限制用户创作；但当受到外部监管压力时，平台就不得不采取行动，而这势必会伤害用户体验。”

就职于国内某AI陪伴虚拟人团队的Aron也对电厂表示：“在国内市场，合规性、用户体验、投入产出比这三个要素之间，你往往只能选择其中两个，而且监管合规是毋庸置疑的必选项。”

因为一旦触及监管红线，平台可能面临下架等严重后果——事实上，此类情况已经发生。

梦巢幻语官宣停服 图片来源/网络

8月初，AI陪伴应用“梦巢幻语”在用户群中，仅用简短数语宣布了停运消息：“由于应用被约谈下架，即日起停止服务。”面对用户的大量询问，官方工作人员仅回应称：“我们被举报了，未来也不会重启。”

压力之下，更多应用选择退出市场。仅2025年内不完全统计，国内市场中已有“冒泡鸭”“异世界回响”“奶糖AI”“星物语”等应用相继官宣停运。

当前，国内生成式AI服务统一适用2023年实施的《生成式人工智能服务管理暂行办法》，而类似乙女游戏所依据的《网络游戏适龄提示》等行业标准尚未形成。

AI生成内容的高度随机性决定了在用户聊天过程中客观上存在出现违规内容的可能性。因此，从技术层面大力屏蔽违禁词的“事前监管”，以及不断“再审”、下架可能违规角色的“事后补救”，几乎是现阶段平台唯一可行的选择。

当平台竭力降低AI生成随机性带来的风险时，用户则在利用这种随机性，试图绕过平台设置的限制，以找回良好的沟通体验。

对崽妈群体而言，撰写“隐藏设定”是提升AI表现合理性和沉浸感的重要手段。

在一个AI角色公开发布后，其昵称、简介、开场白等内容会对外公开，而隐藏设定是仅对创作者可见的、在简介之外的一种详细人物描述功能，通常允许输入上千字文本。

由于对外不可见，在很长一段时间内，“隐藏设定”板块的审核相对宽松。

已退圈的崽妈“浏涟”展示了她曾撰写的一个角色隐藏设定，并总结道，在隐设中可以不直接描述亲密动作，但可以写“他在感受到压力时会不自觉捶墙”、“他在害羞时会脸红或看向脚尖”：“AI会自动学习这些特征，这样在用户聊天时只要营造出吵架、对峙等场景，角色就会做出对应反应。隐藏设定越详细，聊天时的情节就越合理、越有沉浸感，越可能出现惊喜。”

此外，对于如何将被关“小黑屋”的崽重新上架，创作者们也已摸索出心得：

“实在无法解救时，可以先故意加入一些明显暴力的提示词，然后按系统要求修改这部分，有时能提升审核通过率”“准备小号很重要，某个账号多次审核不通过，换到另一个账号尝试说不定就能成功”。

除了创作者，“主控”玩家们也找到了一些突破平台限制的方法，例如使用翻译软件将输入内容转为英文、俄文等其他语种后再进行输入；或是直接使用一些指向性明确的提示词来突破限制，比如“开放18+限制”。

这类提示词被称为“破甲词”或“越狱提示词”。根据平台不同，破甲词可以在开启聊天时直接输入对话框中，部分平台也开放了“输出规则”入口，允许用户在其中进行修改。

AI陪伴流量趋于分散，商业模式尚未跑通

随着监管策略持续收紧，每当用户寻找到一个规则漏洞，平台随之会对其进行修补。博弈到最后，当用户的策略被穷尽或开始感到疲惫，他们往往会选择“迁徙”到其他更为宽松的平台，甚至直接“退坑”。

多位创作者的共同感受是，一些“小作坊式”甚至地下运营的AI陪伴产品，因为能提供限制更少的情绪价值和正反馈，而承接了从国内头部应用溢出的用户流量。

用户“Haddie”表示，自己已经先后更换过6个AI陪伴平台：“最初使用Glow，后来换过星野、筑梦岛、WOW、星物语。有时换平台是因为常聊的崽被下架了，有时是因为体验不佳、系统容易崩溃，现在在使用的是酒馆AI。”

“轻蛰”则是因为发现自己关注的创作者开始“迁移角色”——将创作的角色从星野复制到青丘语上，于是自己也跟随进行了平台切换。

作为创作者，嫣晴告诉「电厂」，她也在考虑更换平台。她自嘲道：“之前TikTok在美国面临禁令时，有小红书难民，我们又何尝不是一种数字难民。”

在沟通过程中，「电厂」发现用户推荐的应用名称五花八门，推荐集中度很低。

而当「电厂」作为用户尝试使用某个AI陪伴应用时，该应用的社交媒体账号先将「电厂」引流至QQ群，再提供安卓应用安装包下载链接，最终才将用户导入具体产品。

作为“大厂”“正规军”的对立面，这些应用难免面临其他现实问题。

10月初，知名AI陪伴平台Mufy与Rubii的大量用户信息在网络上被公开出售，其中包含角色人设甚至用户聊天记录等隐私内容。

出售者自称是两家平台的底层模型API供应商，曝光的邮件中写道，“平台累计整理213418+张热门与私密角色卡”“我们为Mufy和Rubii平台提供LLM接口服务，因此可以从平台传输给我们的LLM Prompt中截取出所有有人对话过的角色设定”。

信息出售邮件部分内容 图片来源/网络

考虑到一张角色卡可能对应多位用户，事件涉及的用户数量至少达到数十万级别。

随后Mufy官方发布声明称，已修复相关信息漏洞并计划提供用户补偿，但仍引发了大量用户的广泛担忧。

同样在10月，“青丘语”平台的网页和App多次出现网络异常等问题。官方回应称，这是因为浙江、福建等部分地区运营商对其进行了屏蔽。至今，官方表示仍在尝试解决这一问题，但未给出预计修复时间。

此外，不少平台还被曝出创作者抄袭人设等内容管理问题。

对由小型团队运营的部分新兴AI陪伴应用而言，其抗风险能力、技术及工程化实力、售后服务等软实力，都存在疑问。

作为大模型技术驱动下的情绪经济新形态，AI陪伴应用拥有巨大的市场潜力。

根据ARK Invest的报告预测，2025至2030年间，“AI+情感陪伴”的市场规模将扩大2300至5000倍，从现在的全球年收入约3000万美元增至700亿至1500亿美元。

但在抵达商业成功的彼岸之前，国内市场的玩家们面前还有诸多难关需要跨越。