必一运动·(B-sports)官方网站

AI内容监管的第(di)一道防线

《AI内容标识办法》对外发布当天(tian)上午，公安部网安局公布一则辟谣公告:闹得沸沸扬扬的“有顶(ding)流(liu)明星在澳门输了10亿”传闻(wen)，实则是网民用AI工具(ju)生(sheng)成的谣言。

类似这样的AI伪造事件，在过(guo)去一年(nian)中频繁上演:雷军、靳(jin)东、张文宏等公众人物沦(lun)为AI生(sheng)成内容的受(shou)害(hai)者；西藏日喀则地震中“被压在废墟下的小男孩”图片系AI生(sheng)成；三只羊“录音门”事件的音频同样由AI制(zhi)作(zuo)而成。

在此背景下，今年(nian)全国(guo)两(liang)会上，多位人大代表和政协委员呼吁立法规制(zhi)AI技(ji)术滥用。例(li)如(ru)，全国(guo)人大代表雷军建议，加强“AI换脸拟(ni)声(sheng)”违法侵(qin)权重灾区治理。全国(guo)人大代表、TCL创始人、董(dong)事长李(li)东生(sheng)则建议，要规范“AI换脸拟(ni)声(sheng)”技(ji)术的不当利用，有必要要求深度合成服务(wu)提供(gong)商对AI生(sheng)成的内容进行强制(zhi)标识，减少恶(e)意滥用。

域外来看，添加标识同样是监管部门提升AI内容透明度的重要抓手。比如(ru)，西班牙政府(fu)3月11日批准了《人工智(zhi)能(AI)治理法案》，要求企业对AI生(sheng)成内容进行适当标识，否则将被处以750万欧(ou)元(yuan)至3500万欧(ou)元(yuan)，或企业全球营业额的2%至7%的罚(fa)款。

“标识是对人工智(zhi)能生(sheng)成内容监管的第(di)一道防线。”姚(yao)志伟说。

国(guo)家网信办在“答记者问”中指出(chu)，《AI内容标识办法》意在通过(guo)标识提醒用户辨别虚假信息，明确(que)相关服务(wu)主体的标识责(ze)任(ren)义务(wu)，规范内容制(zhi)作(zuo)、传播各环节标识行为；同时减轻AI生(sheng)成合成技(ji)术滥用危害(hai)，防范利用AI技(ji)术制(zhi)作(zuo)传播虚假信息等风险行为。

中国(guo)科学院计算技(ji)术研究所数字内容合成与伪造检(jian)测实验室主任(ren)、研究员曹娟发文表示，标识数据还可为鉴(jian)伪模型提供(gong)丰富多样、来源广(guang)泛的高质量训(xun)练样本，实现数据层(ceng)面“生(sheng)成-标识-检(jian)测”的生(sheng)态闭环，从而推动鉴(jian)伪技(ji)术与时俱进地迭代升级。

新规细化既有规定

为AI生(sheng)成合成的内容添加标识，并非(fei)一项全新的监管要求。

内容标识要求至少可以追溯到2019年(nian)国(guo)家网信办等三部门印发的《网络(luo)音视频信息服务(wu)管理规定》。该规定要求，网络(luo)音视频信息服务(wu)提供(gong)者和网络(luo)音视频信息服务(wu)使(shi)用者利用基于深度学习(xi)、虚拟(ni)现实等的新技(ji)术新应用制(zhi)作(zuo)、发布、传播非(fei)真(zhen)实音视频信息的，应当以显著(zhu)方式(shi)予(yu)以标识。

此后(hou)，国(guo)家网信办等部门又相继出(chu)台《互(hu)联(lian)网信息服务(wu)深度合成管理规定》《生(sheng)成式(shi)人工智(zhi)能服务(wu)管理暂行办法》等部门规章，均提及(ji)网络(luo)服务(wu)提供(gong)者对AI生(sheng)成合成内容的标识义务(wu)。另外，2023年(nian)7月，中央网信办发布的《关于加强“自媒体”管理的通知》提到，使(shi)用技(ji)术生(sheng)成的图片、视频的，需明确(que)标注系技(ji)术生(sheng)成。

此次出(chu)台的《AI内容标识办法》效力等级为行政规范性文件。该办法和配套(tao)实施的强制(zhi)性国(guo)家标准《网络(luo)安全技(ji)术　人工智(zhi)能生(sheng)成合成内容标识方法》一起，旨在进一步(bu)细化标识的具(ju)体实施规范。

《AI内容标识办法》将AI生(sheng)成合成内容标识包括显式(shi)标识和隐式(shi)标识。顾(gu)名思义，显式(shi)标识即为能被用户明显感知到的标识；隐式(shi)标识则是采取技(ji)术措施在生(sheng)成合成内容文件数据中添加的，不易被用户明显感知到的标识，包含生(sheng)成合成内容属性信息、服务(wu)提供(gong)者名称或者编码、内容编号等制(zhi)作(zuo)要素(su)信息。

承担(dan)标识义务(wu)的有AI平台、社交内容平台、应用商店和用户四类主体。

具(ju)体而言，AI平台需在生(sheng)成合成内容中添加符合要求的显式(shi)标识和隐式(shi)标识，并在用户服务(wu)协议中明确(que)说明这些内容。此外，当AI平台在履行算法备案、安全评估等手续时，还应提供(gong)生(sheng)成合成内容标识相关材料，并为打击相关违法犯罪活动提供(gong)支撑。

社交内容平台主要承担(dan)对AI内容的核验义务(wu)。若识别了AI生(sheng)成合成或疑似AI内容，社交平台应告知提醒公众。除了核验，社交平台也应主动提供(gong)必要的标识功能，提醒用户主动声(sheng)明发布内容中是否包含生(sheng)成合成内容。

应用商店则负责(ze)AI类App的审核义务(wu)，必须核验这类App服务(wu)提供(gong)者的生(sheng)成合成内容标识相关材料。

用户的义务(wu)可概括为主动声(sheng)明标识和不得删除、隐匿标识。

测评

8款主流(liu)社交平台均为用户上传

AI生(sheng)成合成内容提供(gong)主动声(sheng)明功能

尽管新规设置了近半(ban)年(nian)的过(guo)渡期，但(dan)由于给(gei)AI内容添加标识并非(fei)全新要求，主流(liu)AI平台和社交平台普遍开启了显式(shi)标识的落地工作(zuo)。

南都选取的测评对象包括8款主流(liu)社交平台——小红书、微博、微信公众号和视频号、抖音、快手、B站、豆瓣(ban)、知乎(hu)；以及(ji)15款主流(liu)AI平台——DeepSeek、Tencent(xun)元(yuan)宝、豆包、Kimi智(zhi)能助手、纳米AI搜(sou)索(suo)、文心一言(文小言)、智(zhi)谱清言、星野(ye)、即梦AI、讯(xun)飞星火、天(tian)工AI、通义、可灵AI、Minimax(海螺视频/海螺语音)、百(bai)小应。

实测发现，所有8款社交平台，均为用户上传AI生(sheng)成合成内容提供(gong)了主动声(sheng)明功能。其中，6家已在用户协议等规范中明确(que)了用户的AI内容标识义务(wu)，小红书、微博、微信视频号、B站还提醒用户，若未如(ru)实标识，最严将面临封禁账号的惩罚(fa)。

测评的15款主流(liu)AI平台，则都在所生(sheng)成的文字对话、图片、视频中添加了明显的AI标识。其中，13款AI平台在用户协议中写入用户的AI内容标识义务(wu)。值得一提的是，Tencent(xun)元(yuan)宝明确(que)在协议中提到会为生(sheng)成的内容添加隐式(shi)水印标识。

小红书方面向记者先容，小红书在2023年(nian)便已启动针对生(sheng)成式(shi)AI内容的治理体系建设，其中一项措施是加大AI识别模型的研发投(tou)入。基于“分(fen)类器”技(ji)术的识别模型，平台对识别为疑似AI生(sheng)成的内容进行显著(zhu)标识，提醒用户注意甄别内容真(zhen)实性。目前识别模型的准确(que)率在95%左右。如(ru)果用户自认为平台识别有误，可以通过(guo)平台反馈机制(zhi)申诉。

小红书方面还表示，平台设置了机器识别+人工识别的双重屏障，以减少AI生(sheng)成低(di)质内容的曝(pu)光，针对其中侵(qin)权、假冒(mao)、诱导等内容第(di)一时间(jian)下架处理。对于创作(zuo)者，平台要求主动对AI生(sheng)成内容进行显著(zhu)标识，并持续简化打标流(liu)程(cheng)。

相比之下，应用商店运(yun)营方的AI标识材料核验尚未推行。经(jing)查询应用App的审核规范文本和询问客服得知，HUAWEI、小米、OPPO、vivo和荣耀这五家第(di)一梯队的安卓手机厂商，目前对深度合成与人工智(zhi)能类App的资(zi)质审核细则中，均未纳入核验生(sheng)成合成内容标识相关材料的要求。

南都调研 总第(di)611期

采写:南都记者 杨柳 樊文扬

制(zhi)图:南都记者 黄莉玲