AI涉黄案二审：法律与技术界限何在？

1月14日下午，国内首例AI服务涉黄案件二审在上海一中院开庭，备受社会各界关注。这起“AI时代快播案”在历经3个多小时的审理后，因需要权威技术专家对涉案AI技术原理进行说明而暂时休庭，择期继续开庭。

2024年4月，张某、王某因在AC软件上利用AI智能体“聊天涉黄”被逮捕。2025年9月，徐汇区人民法院一审判决两人犯制作淫秽物品牟利罪，分别获刑4年和1年半，并处罚金。两人不服判决提出上诉。

北京盈科（上海）律师事务所律师周小羊表示，二审团队同样做无罪辩护，并申请了人工智能领域专家证人的出庭及验证输入相同内容提示词是否会导致“聊黄”的场景实验。庭审效果良好，但最新开庭时间尚未确定。

案件回溯：9个月会员充值超300万元

2023年5月，张某和王某创建了名为Alien Chat的软件（简称“AC软件”），并于同年6月在网页端、苹果端和安卓端上架运营。用户注册会员后，可创建虚拟角色或通过软件与大语言模型进行交互聊天。

其间，张某负责管理和运营，王某负责编写后端代码和运营维护。一审判决书显示，用户通过该软件产生了大量色情内容。

最终判决书判定：AC软件共有手机注册用户11.6万余人，其中付费用户2.4万余人；截至2024年4月案发，二人共收取会员充值费363万余元。

二审焦点：是传播还是制作？

周小羊表示，“我们依然坚持无罪辩护，用户与AI的对话是私密形式，并未对外传播。”控辩双方对此案存在三种不同意见：传播淫秽物品牟利罪、无罪、制作淫秽物品牟利罪。

法院最终判定二人构成制作淫秽物品牟利罪。一审判决书认为，涉案的色情聊天内容通常只有参与聊天的会员能看到，具有封闭性，但根据《生成式人工智能服务管理暂行办法》，作为服务提供者需承担生产者责任。

北京中闻（杭州）律师事务所刑事律师朋礼松表示，“虽然私密对话是‘一对一’，但AI聊天赋予的模式是工具AI的‘一对多’。”

技术还是主观“涉黄”？

一审判决书显示，两位被告积极追求色情聊天内容的产生，通过编写、修改系统提示词等方式突破道德限制。张某和王某对输出内容具有决定性影响，符合“制作”特征。

但周小羊认为，“AI生成淫秽内容的原因是什么？被告人编写、修改系统提示词在多大程度上会影响模型生成淫秽内容？这些是技术问题。”

“这是我们非常重要的一个观点。”周小羊表示，已取保候审的当事人自行开展的实验证明，提示词不会与AI涉黄输出产生直接因果关系。

“开发者若规避风险过度添加敏感词，会牺牲AI的智能性。”周小羊直言，对开发者追究刑事责任似乎并不公平，也会一定程度上影响AI行业的发展。

上海计算机软件技术开发中心人工智能研究与测评部副部长马泽宇也认为，将“涉黄”责任全部归咎于开发者值得商榷。

此外，《网络安全技术生成式人工智能服务安全基本要求》于2025年11月1日正式实施，明确了生成式AI服务提供者的多项责任。

图片／ AC官方社交账号 网络