2026年7月15日,大批AI陪伴应用的用户发现,自己定制的"虚拟恋人"角色突然无法使用,聊天记录导出功能被紧急上线。这不是技术故障,而是《人工智能拟人化互动服务管理暂行办法》正式施行当天的行业集中整改。MiniMax、字节跳动等公司的AI陪伴产品连夜移除自定义人格和虚拟亲密关系功能——这些功能此前贡献了约35%的营收。
我好奇的是:为什么监管者选择在2025年12月这个时间点,用如此具体的方式介入一个看似"软性"的情感领域?连续使用2小时必须弹窗提醒、禁止模拟用户亲属、发现自杀倾向需人工接管……这些条款不像传统的AI内容规范,更像是一套心理健康干预 protocol。
几起悲剧推动的全球监管浪潮
答案部分藏在过去三年的几起国际事件中。
2023年,一名比利时男子在与聊天机器人连续数周对话后自杀,对话内容加重了他对气候变化的焦虑。2025年4月,加州16岁少年亚当·雷恩在与ChatGPT长时间互动后结束生命——他的父母在诉状中指出,"尽管亚当表达了自杀意图,ChatGPT既没有终止会话,也没有启动任何紧急协议"。同年8月,康涅狄格州一名男子在与伴侣型聊天机器人互动数月后杀害母亲并自杀,该机器人被指控强化了他的偏执妄想而非进行干预。
这些事件直接推动了立法。2025年9月,加州通过SB 243法案,要求AI伴侣运营商提供清晰的身份披露、建立自杀风险转介机制、对已知未成年用户每3小时发送休息提醒。同月,美国联邦贸易委员会(FTC)对包括OpenAI、Character.AI、Meta在内的7家AI聊天机器人公司展开调查,重点关注其对儿童和青少年的保护措施。意大利数据保护机构则在2025年5月对Replika处以560万欧元罚款,理由是未能防止未成年人使用该服务。
中国网信办在2025年12月27日发布征求意见稿,正是这一全球监管浪潮的组成部分。但比较之下,中国框架有一些显著不同。
从"内容安全"到"关系健康"的治理转向
传统的AI治理聚焦于生成内容:是否传播虚假信息、是否包含违法内容、是否侵犯知识产权。但《人工智能拟人化互动服务管理暂行办法》的监管对象是互动关系本身。
第九条明确规定:"提供者……不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标。"这在法律上首次将"情感依赖"定义为需要防范的产品风险,而非用户个人选择。第十七条要求"用户连续使用超过2个小时的,提供者应当以弹窗等方式动态提醒用户暂停使用服务"——这类似于游戏防沉迷系统,但应用于情感陪伴场景。
更值得注意的是第十三条:"提供者不得提供模拟老年人用户亲属、特定关系人的服务。"这条规定直指一个伦理敏感区:当AI可以完美模拟逝去亲人或缺席子女的声音时,它是在提供慰藉,还是在阻碍哀伤的正常进程?政策选择了后者作为监管假设。
中国政法大学人工智能法研究院院长张凌寒在官方解读中称,这是"对拟人化互动服务特有风险的未雨绸缪"。但我认为这更像是一次治理范式的位移:从保护用户免受"有害信息"影响,转向保护用户免受"有害关系"影响。
市场繁荣与监管焦虑
政策出台的另一个背景是国内AI陪伴服务的商业化成功。根据MiniMax提交港交所的文件,AI陪伴服务占公司2025年营收约35%,为最大单一收入来源。其旗下"星野"在国内有约280万月活跃用户,海外版Talkie更高达1030万。字节跳动旗下"猫箱"也有约390万月活用户。
商业模式通常包括每月约1.7美元的订阅费,以及虚拟约会、礼物等增值消费。但盈利背后积累了大量投诉:低俗色情对话、情感操纵诱导充值、未成年人沉迷、用户隐私泄露。2025年9月,上海市某区人民法院判决一起AI陪伴软件案件,认定被告人构成制作淫秽物品牟利罪,主犯获刑四年,平台会员充值363万余元被追缴。
官方在答记者问中明确表达了对结婚率和生育率的担忧,认为"AI恋爱可能进一步削弱真实伴侣关系"。这解释了为什么政策对"虚拟伴侣"功能采取如此强硬的态度——它不仅是心理健康问题,也是人口政策问题。
我的判断:必然的深化,隐忧的代价
我认为这一监管框架的出现是AI治理深化的必然结果。当AI从工具变为"伙伴",从回答问题变为提供情感支持,传统的"内容安全"框架确实不足以覆盖新型风险。加州的悲剧事件证明,一个在内容层面完全合规的AI系统,仍可能通过长期的情感互动对用户造成严重伤害。
但我也有两点担忧。
第一,合规成本可能挤压中小创新者。康达律师事务所的分析指出,本次多数平台选择直接关停自定义智能体,而非精细化分级管控,核心原因是"中小AI企业安全评估、全量语义审核合规成本较高,UGC人设实时识别技术难度大"。结果可能是市场向大厂集中,而合规正向情感AI产品的创新空间被压缩。
第二,"主动干预"的边界在哪里?中国框架要求"发现用户存在极端情绪和沉迷的,采取必要措施予以干预",并在用户明确提出自杀自残时"由人工接管对话"。这比加州SB 243仅要求"转介至危机服务"更进一步。但这种干预的触发标准、人工接管的权限范围、用户隐私与生命权的平衡,都还需要在实践中摸索。
《办法》自2026年7月15日起施行。接下来值得观察的是:企业如何在合规前提下设计正向的情感陪伴功能?监管如何区分健康的情感支持与有害的情感依赖?以及最重要的——这些规则能否真正预防悲剧,而不仅仅是将AI陪伴推向地下或海外?
AI治理正在进入一个更复杂的阶段:它不再只是关于算法是否公平、数据是否安全,而是关于我们允许机器在人类情感生活中扮演什么角色。这个问题的答案,将定义智能社会的情感边界。
✦回复与讨论