专家解读｜人工智能拟人化互动服务的制度指引

首 页 时政要闻 网信政务 互动服务 热点专题 当前位置： 首页 > 正文 首页 时政要闻 网信政务 互动服务 热点专题 当前，大语言模型应用逐步向情感与心理领域深度延伸，基于大语言模型等人工智能（AI）技术的产品或者服务被赋予性格、记忆、共情等拟人化特征，能够通过文字、图片、音频、视频等形式与人类互动，持续提供模拟人类人格特征、思维模式和沟通风格的情感互动服务。国家网信办与有关部门联合公布《人工智能拟人化互动服务管理暂行办法》（以下简称《办法》），通过前瞻性制度设计，在鼓励技术创新的同时，为人工智能拟人化互动服务（以下简称拟人化互动服务）划定了发展边界、明确了行为规范。 拟人化互动服务在应对人口老龄化挑战、缓解社会个体的孤独感、提供心理疏导等方面展现出积极价值，也带来了深度沉迷、威胁公民生命健康等有关安全风险。 一方面，有助于赋能多领域社会生活。拟人化互动服务通过模拟人类的语言风格、情感特征和社交逻辑，让人机交互更自然、更有温度，在情感陪伴、公共服务、文化传播等领域发挥积极效用，成为弥补社会需求缺口的有益补充。在老年陪护场景中，拟人化互动服务可主动问候、提醒用药，甚至陪伴聊天，有效缓解老年群体的孤独感；在教育领域，人工智能学习伙伴以鼓励式表达和个性化反馈激发学生学习兴趣，构建“亦师亦友”的良性学习氛围；在文化传播领域，拟人化互动服务以具象化人格开展导览服务，提升互动体验、活化历史文化知识，拓展公众知识获取渠道。 另一方面，其带来的安全风险同样不容忽视。拟人化互动服务精准契合用户情感与社交需求，在提供陪伴感的同时也埋下了不容忽视的风险隐患。其通过算法精密设计出的无条件陪伴、迎合式反馈与模拟共情回应，持续给予用户情感认可和支持，为用户构建了一个稳定持续、无需承担现实责任的虚拟“完美关系”。这易使用户尤其是在现实存在孤独感、心理脆弱的群体，产生深度情感依赖，强化其负面情绪，影响其现实生活，影响人类社会关系基础。比如，人工智能算法通过精准匹配人类心理需求，构建沉浸式交互场景，长期使用可能导致部分用户出现沉迷依赖、主动缩减现实社交频次，影响用户共情能力、处理分歧能力等现实社交技能。 当前，国内外逐渐关注拟人化互动服务的发展治理课题，并探索开展相关制度建设。从研究观察看，有关国家和地区在制度规则的价值考量、规制重点、规制措施等方面呈现了不同特点。 欧盟注重拟人化互动服务风险治理。其通过《人工智能法》建立风险分类体系，将拟人化互动服务划入属于有限风险范畴，明确其必须遵守透明度规则，要求建立强制透明度告知义务，保障用户知悉其与人工智能互动，并要求对合成内容进行标识，保障用户对生成合成内容的辨识能力。欧洲议会通过非约束性报告，呼吁将陪伴型人工智能的最低使用年龄设定为16岁，凸显对未成年人的重点保护导向。 美国州立法也对拟人化互动服务规范进行了探索。有关州立法要求服务提供者建立危机检测机制，主动识别并阻止自杀、自残等极端倾向，同时引导用户对接自杀干预热线等专业危机救援资源。比如，纽约、加利福尼亚等州强制要求拟人化服务商必须以显著、持续的方式告知用户“交互对象为AI，不是真实人类”，并规定平台建立有效的年龄验证机制，对于未成年人用户，系统需在连续互动过程中定期重复提示。Character.AI等美国企业探索规范18岁以下用户与聊天机器人开展开放式交流，并启用年龄验证机制。 我国注重统筹发展和安全。比如，修改后的《网络安全法》完善支持人工智能发展的措施，明确国家支持人工智能基础理论研究和算法等关键技术研发，推进训练数据资源、算力等基础设施建设，完善人工智能伦理规范，加强风险监测评估和安全监管，促进人工智能应用和健康发展。国家网信办与有关部门联合制定《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等人工智能专门立法，规定了涉及拟人化互动服务治理的有关制度。此外，发布《全球人工智能治理倡议》，为推动全球人工智能合作与治理提供了建设性思路；国家网信办指导发布《人工智能安全治理框架》2.0版，指出拟人化交互存在沉迷依赖风险，并提出应对举措建议。《办法》明确坚持发展和安全并重、促进创新和依法治理相结合的原则，将为拟人化互动服务健康发展提供制度保障，也为全球人工智能治理提供中国方案。 对拟人化互动服务的治理，关键在促进技术创新发展的同时，有效防范风险与伦理问题。《办法》对法学界和产业界关注的焦点问题作出了积极探索，从多个方面规范拟人化互动服务。 《办法》明确了拟人化互动服务全生命周期的安全责任，构建起覆盖内容安全、数据安全等在内的制度体系。 其一， 强化安全主体责任。《办法》要求服务提供者建立健全算法机制机理审核、科技伦理审查、信息内容管理、网络和数据安全、风险预案和应急处置等管理制度，将安全责任贯穿拟人化互动服务部署、运行、升级、终止服务等全流程，明确禁止将替代社会交往、控制用户心理、诱导沉迷依赖等作为服务目标。这一规定从源头上确立了拟人化互动服务的价值导向与伦理边界，夯实安全管理基础，防范潜在风险。 其二， 明确内容安全底线。《办法》明确提供拟人化互动服务不得生成危害国家安全、荣誉和利益等内容，生成损害用户身体健康相关内容和可能影响未成年人身心健康的内容。 其三， 筑牢隐私权和个人信息保护防线。《办法》规定拟人化互动服务提供者需采取数据加密、访问控制等技术措施保障交互数据安全；明确除法律另有规定或者权利人明确同意外，拟人化互动服务提供者不得向第三方提供用户交互数据；还明确除法律、行政法规另有规定或者取得用户单独同意外，拟人化互动服务提供者不得将属于用户敏感个人信息的交互数据用于模型训练。《办法》将进一步保护用户隐私权和个人信息，助力构建安全可信的拟人化互动服务空间。 《办法》针对实践中的安全风险，构建了明确的防范制度。 其一， 要求及时识别用户面临的安全风险，并采取相应的应急处置措施。《办法》规定拟人化互动服务在识别出用户出现极端情绪时，应及时生成情绪安抚和鼓励寻求帮助等相关内容；在用户明确表现出自残自杀等威胁生命健康的极端情境时，应当采取提供相应援助等必要措施予以干预，并及时联络用户的监护人或者紧急联系人。该规定践行“以人为本”理念，筑牢了极端风险场景下用户的身心安全防护底线。 其二， 强化拟人化互动服务提供者对生成合成内容的提示义务，筑牢“人机边界”认知防线。《办法》规定拟人化互动服务提供者应采取有效措施，以提示用户正在与AI而非自然人进行互动。发现用户出现过度依赖、沉迷倾向时，应当以弹窗等显著方式提醒用户交互内容为AI服务生成，提示每一条安慰信息背后是算法逻辑而非人类情感，避免用户产生情感依恋、认知混淆甚至行为成瘾。用户连续使用超过2小时的，明确应通过对话或弹窗等方式提示用户注意使用时长，发挥防沉迷作用，引导用户回归现实生活，理性审视自身使用行为。 《办法》特别强调了对未成年人群体的保护和老年人群体的使用引导，防止其心理自主性受到不当干预。 其一， 建立精准适配的未成年人保护机制。《办法》要求拟人化互动服务提供者应当建立未成年人模式，不得向未成年人提供虚拟亲属、虚拟伴侣等虚拟亲密关系服务，向不满14周岁的未成年人提供其他拟人化互动服务的，应当取得未成年人父母或者其他监护人的同意。在未成年人模式服务下，应当通过定期现实提醒、使用时长限制等功能强化未成年人保护，并禁止向未成年人用户生成可能引发模仿不安全行为、诱导不良嗜好的内容。《办法》旨在构建保护未成年人的坚实防线，严防未成年人因心智尚未成熟而沉溺于虚拟情感依赖，防范违法和不良信息渗透与侵蚀。 其二， 强化老年人健康使用拟人化互动服务的指导与援助。《办法》要求加强对老年人用户的指导、安全风险提醒、相关咨询求助响应，旨在帮助老年人群体享受AI服务带来便利的同时，有效规避潜在风险。 《办法》是我国应对人工智能深度社会化应用挑战的一项重要探索，将有助于促进人工智能拟人化互动服务健康发展和规范应用，让人工智能更好造福社会。（作者：王江，中国网络空间研究院院长、党委书记 ） 中央网络安全和信息化委员会办公室 中华人民共和国国家互联网信息办公室 © 版权所有 联系我们 承办：国家互联网应急中心 技术支持：长安通信科技有限责任公司 京ICP备14042428号 京公网安备11040102700108号 学习强国 ◆ ◆ 微信 ◆ ◆ 返回顶部 中央网络安全和信息化委员会办公室 中华人民共和国国家互联网信息办公室 © 版权所有 承办：国家互联网应急中心 技术支持：长安通信科技有限责任公司 京ICP备14042428号 京公网安备11040102700108号 PC版