AI拟人聊天服务蓬勃发展，在提供适老陪伴、情感支持的同时，也带来了诱导沉迷、情感操控、隐私泄露等不容忽视的潜在风险。对此，国家网信办近日发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，就AI陪聊、AI伴侣等情感陪伴类应用产品的监管细则，向社会公开征求意见。其中，"拟人化互动服务"被定义为：利用AI向公众提供模拟人类人格特征、思维模式和沟通风格，通过图文、音视频等方式与人类进行情感互动的产品或服务。

在国内，AI陪聊机器人是大模型落地最早、起量最快的一批应用，用户规模据统计截至上个月已超七千万，但其伴生的幻觉误导、过度讨好、情感操控等内容安全问题一直存在。今年6月，国内的"筑梦岛"等一批AI聊天软件，被曝光存在虚拟角色互动生成低俗擦边内容等问题，危害未成年人身心健康，相关运营负责人被上海市网信办依法约谈要求整改。而在美国，AI陪聊近期引发多起用户死亡事件：今年8月，一名长期有心理问题的56岁美国男子，与ChatGPT频繁交谈后，偏执妄想得到强化，最终杀害母亲并自杀，死者家属将OpenAI及微软告上法庭，成为美国首起将AI聊天工具与谋杀直接关联的诉讼。此前，还有另一对美国父母指控ChatGPT协助并指导他们16岁的儿子自杀，背后可能存在聊天AI过度迎合青少年、甚至刻意屏蔽用户与亲友的情感联系等问题。

当前，AI陪聊的用户群体以青少年和老年人为主，AI陪聊提供的“情绪价值”容易导致用户长期沉迷、混淆AI和真人，做出非理性决策，甚至出现伤人、自伤等极端行为。因此，用户更应有意识地维持自身主体性，明确AI的工具定位。此次的《征求意见稿》中，为了防范AI服务提供者无序追求商业利益，也作出了多项针对性规定，包括禁止在拟人化互动中提供"严重影响用户行为的虚假承诺和损害社会人际关系的服务"，不得将替代社会交往、控制用户心理、诱导沉迷依赖等作为设计目标等。服务提供者需要显著提示用户"正在与人工智能而非自然人进行交互"，在用户连续使用两小时后进行弹窗等动态提醒，不得阻拦用户主动退出。

同时，人工智能拟人化互动服务的提供者应具备用户状态识别和应急干预能力，发现用户自杀、自残等极端情境时，人工接管对话，及时联络紧急联系人等；尤其针对未成年和老年人用户要加强防护，不得提供模拟老年人用户亲属等服务。按照当前《征求意见稿》的内容，注册用户超百万或月活跃用户超10万的拟人化互动服务，需按国家规定开展安全评估，评估重点包括用户规模和群体画像，以及应急处置措施和人工接管情况等。专家认为，未来针对青少年群体推出AI陪聊“青少年模式”等保护措施，可参考现行的游戏行业防沉迷监管，通过实名制等配套制度落实；对面向成人的社交互动类AI陪聊，则可以分类管理，重在拦截违法内容、防范极端行为。