国家网信办等四部门新出台(tai)的AI内容(rong)标识新规，将于今年9月1日起(qi)施行，以应对AI技术滥用引发的虚假(jia)信息治理难题。3月17日至18日，南都针对23款应用App的测试发现，主流AI平台(tai)、社交平台(tai)普遍已开始(shi)落地AI内容(rong)标识的要求。
3月14日，国家网信办、工信部、公安部和国家广播电视总局联合发布《人(ren)工智能生成合成内容(rong)标识办法》(下称《AI内容(rong)标识办法》)。该办法围绕“哪些是生成的”“谁(shui)生成的”“从哪里生成的”等问题，为AI平台(tai)、社交内容(rong)平台(tai)、应用商店(dian)和用户四类主体分别设(she)定(ding)了AI内容(rong)的标识义(yi)务。
小红书方面告诉南都记者，落地《AI内容(rong)标识办法》的要求不存在难度，早在2024年5月，小红书已作为试点平台(tai)参与了中央网信办的AI标识试点工作。而(er)广东财经大学法学院教授(shou)姚志(zhi)伟此前向记者表示，新规对内容(rong)传播平台(tai)提出的技术要求较高，中小内容(rong)平台(tai)能否(fou)有效落地实行还需观察。
AI内容(rong)监管(guan)的第一道防线
《AI内容(rong)标识办法》对外发布当天上午，公安部网安局公布一则辟谣公告:闹得沸沸扬扬的“有顶流明星在澳(ao)门输了10亿”传闻，实则是网民用AI工具生成的谣言。
类似这样的AI伪造(zao)事件，在过去一年中频繁上演:雷军、靳东、张文宏等公众人(ren)物沦(lun)为AI生成内容(rong)的受害者；西藏日喀则地震中“被压在废墟下的小男孩”图片系(xi)AI生成；三只羊“录(lu)音门”事件的音频同样由AI制作而(er)成。
在此背景下，今年全国两会上，多位人(ren)大代表和政协委员呼吁立法规制AI技术滥用。例如，全国人(ren)大代表雷军建议，加(jia)强“AI换脸拟(ni)声”违法侵(qin)权重灾区治理。全国人(ren)大代表、TCL创始(shi)人(ren)、董事长李东生则建议，要规范“AI换脸拟(ni)声”技术的不当利用，有必要要求深度合成服务提供商对AI生成的内容(rong)进行强制标识，减少恶意滥用。
域(yu)外来看，添加(jia)标识同样是监管(guan)部门提升AI内容(rong)透明度的重要抓手。比如，西班牙政府3月11日批准了《人(ren)工智能(AI)治理法案》，要求企业对AI生成内容(rong)进行适当标识，否(fou)则将被处以750万欧元至3500万欧元，或企业全球营业额的2%至7%的罚款。
“标识是对人(ren)工智能生成内容(rong)监管(guan)的第一道防线。”姚志(zhi)伟说。
国家网信办在“答记者问”中指出，《AI内容(rong)标识办法》意在通过标识提醒用户辨别虚假(jia)信息，明确相(xiang)关(guan)服务主体的标识责(ze)任义(yi)务，规范内容(rong)制作、传播各环节标识行为；同时减轻AI生成合成技术滥用危害，防范利用AI技术制作传播虚假(jia)信息等风险行为。
中国科学院计算技术研究所数字内容(rong)合成与伪造(zao)检测实验室主任、研究员曹(cao)娟发文表示，标识数据还可为鉴伪模型提供丰富多样、来源广泛的高质量(liang)训练样本，实现数据层(ceng)面“生成-标识-检测”的生态闭环，从而(er)推动鉴伪技术与时俱进地迭代升级。
新规细化既有规定(ding)
为AI生成合成的内容(rong)添加(jia)标识，并(bing)非(fei)一项全新的监管(guan)要求。
内容(rong)标识要求至少可以追溯到2019年国家网信办等三部门印发的《网络(luo)音视频信息服务管(guan)理规定(ding)》。该规定(ding)要求，网络(luo)音视频信息服务提供者和网络(luo)音视频信息服务使用者利用基于深度学习、虚拟(ni)现实等的新技术新应用制作、发布、传播非(fei)真实音视频信息的，应当以显著方式予(yu)以标识。
此后，国家网信办等部门又相(xiang)继出台(tai)《互联网信息服务深度合成管(guan)理规定(ding)》《生成式人(ren)工智能服务管(guan)理暂行办法》等部门规章，均提及网络(luo)服务提供者对AI生成合成内容(rong)的标识义(yi)务。另外，2023年7月，中央网信办发布的《关(guan)于加(jia)强“自媒(mei)体”管(guan)理的通知》提到，使用技术生成的图片、视频的，需明确标注系(xi)技术生成。
此次出台(tai)的《AI内容(rong)标识办法》效力等级为行政规范性文件。该办法和配套实施的强制性国家标准《网络(luo)安全技术 人(ren)工智能生成合成内容(rong)标识方法》一起(qi)，旨在进一步细化标识的具体实施规范。
《AI内容(rong)标识办法》将AI生成合成内容(rong)标识包括显式标识和隐式标识。顾(gu)名思义(yi)，显式标识即为能被用户明显感知到的标识；隐式标识则是采取技术措施在生成合成内容(rong)文件数据中添加(jia)的，不易被用户明显感知到的标识，包含(han)生成合成内容(rong)属性信息、服务提供者名称或者编码、内容(rong)编号等制作要素信息。
承担标识义(yi)务的有AI平台(tai)、社交内容(rong)平台(tai)、应用商店(dian)和用户四类主体。
具体而(er)言，AI平台(tai)需在生成合成内容(rong)中添加(jia)符合要求的显式标识和隐式标识，并(bing)在用户服务协议中明确说明这些内容(rong)。此外，当AI平台(tai)在履行算法备案、安全评估等手续时，还应提供生成合成内容(rong)标识相(xiang)关(guan)材料，并(bing)为打(da)击相(xiang)关(guan)违法犯罪活动提供支撑。
社交内容(rong)平台(tai)主要承担对AI内容(rong)的核验义(yi)务。若识别了AI生成合成或疑似AI内容(rong)，社交平台(tai)应告知提醒公众。除了核验，社交平台(tai)也应主动提供必要的标识功能，提醒用户主动声明发布内容(rong)中是否(fou)包含(han)生成合成内容(rong)。
应用商店(dian)则负责(ze)AI类App的审核义(yi)务，必须核验这类App服务提供者的生成合成内容(rong)标识相(xiang)关(guan)材料。
用户的义(yi)务可概括为主动声明标识和不得删除、隐匿标识。
测评
8款主流社交平台(tai)均为用户上传
AI生成合成内容(rong)提供主动声明功能
尽(jin)管(guan)新规设(she)置了近半年的过渡期，但(dan)由于给AI内容(rong)添加(jia)标识并(bing)非(fei)全新要求，主流AI平台(tai)和社交平台(tai)普遍开启了显式标识的落地工作。
南都选取的测评对象包括8款主流社交平台(tai)——小红书、微博、微信公众号和视频号、抖音、快手、B站、豆瓣(ban)、知乎；以及15款主流AI平台(tai)——DeepSeek、Tencent元宝、豆包、Kimi智能助手、纳米AI搜索、文心一言(文小言)、智谱清言、星野、即梦AI、讯飞星火、天工AI、通义(yi)、可灵AI、Minimax(海螺视频/海螺语音)、百小应。
实测发现，所有8款社交平台(tai)，均为用户上传AI生成合成内容(rong)提供了主动声明功能。其中，6家已在用户协议等规范中明确了用户的AI内容(rong)标识义(yi)务，小红书、微博、微信视频号、B站还提醒用户，若未(wei)如实标识，最严将面临封禁账号的惩罚。
测评的15款主流AI平台(tai)，则都在所生成的文字对话、图片、视频中添加(jia)了明显的AI标识。其中，13款AI平台(tai)在用户协议中写入用户的AI内容(rong)标识义(yi)务。值得一提的是，Tencent元宝明确在协议中提到会为生成的内容(rong)添加(jia)隐式水印标识。
小红书方面向记者介(jie)绍，小红书在2023年便(bian)已启动针对生成式AI内容(rong)的治理体系(xi)建设(she)，其中一项措施是加(jia)大AI识别模型的研发投入。基于“分类器”技术的识别模型，平台(tai)对识别为疑似AI生成的内容(rong)进行显著标识，提醒用户注意甄别内容(rong)真实性。目前识别模型的准确率在95%左右。如果用户自认为平台(tai)识别有误，可以通过平台(tai)反馈(kui)机制申诉。
小红书方面还表示，平台(tai)设(she)置了机器识别+人(ren)工识别的双重屏障，以减少AI生成低质内容(rong)的曝光(guang)，针对其中侵(qin)权、假(jia)冒、诱导等内容(rong)第一时间下架处理。对于创编辑，平台(tai)要求主动对AI生成内容(rong)进行显著标识，并(bing)持续简(jian)化打(da)标流程。
相(xiang)比之下，应用商店(dian)运营方的AI标识材料核验尚未(wei)推行。经查询应用App的审核规范文本和询问客服得知，HUAWEI、小米、OPPO、vivo和荣(rong)耀(yao)这五家第一梯(ti)队的安卓手机厂商，目前对深度合成与人(ren)工智能类App的资质审核细则中，均未(wei)纳入核验生成合成内容(rong)标识相(xiang)关(guan)材料的要求。
南都调(diao)研 总第611期
采写:南都记者 杨柳 樊文扬
制图:南都记者 黄莉(li)玲