“AI换脸拟声不当滥用成为违法侵权行为的重灾区”“一些喜(xi)欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。”今(jin)年全国两会期间，雷军、靳东的“吐槽”，让AI在音视频领(ling)域(yu)的技术滥用、侵权现象再次引发关(guan)注(zhu)。
南都大(da)数据研究(jiu)院此前曾对“AI换脸拟声”问题(ti)进行调(diao)查，并发现有AI应用对声音克隆不设限，含(han)有辱(ru)骂、诋毁、涉(she)黄、涉(she)暴等内容的不良文本，该应用都可完整(zheng)清晰读出，对用户不当的语音生成缺乏(fa)监测及警示。该应用随后(hou)以“升级维护”为由下线。但南都记者最新发现，该应用疑似“换壳再上线”，且(qie)安(an)全风险未(wei)见改善。
据了解，《人工智能生成合(he)成内容标(biao)识办法》将于今(jin)年9月1日(ri)起施行，服务提供者必须(xu)对利用AI技术生成、合(he)成的文本、图片、音频、视频、虚拟场景等信息(xi)添加(jia)显式标(biao)识和(he)隐(yin)式标(biao)识。
困扰
“一些喜(xi)欢我影视剧的观众，被AI换脸视频骗得很惨”
AI更新迭代，技术“双刃剑(jian)”特征凸(tu)显，“AI换脸拟声”诈骗、侵权事件(jian)屡见不鲜。今(jin)年全国两会上，多(duo)位代表(biao)委员都关(guan)注(zhu)AI生成内容的风险问题(ti)。全国人大(da)代表(biao)、小米集团(tuan)创始人、董事长兼CEO雷军表(biao)示，“AI换脸拟声”不当滥用成为违法侵权行为的重灾区，易引发侵犯肖像权、侵犯公民个人信息(xi)以及诈骗等犯罪行为，不利于构建“以人为本、智能向善”的人工智能发展(zhan)生态(tai)。全国政协(xie)委员、中国煤(mei)矿(kuang)文工团(tuan)团(tuan)长靳东也(ye)表(biao)示:“一些喜(xi)欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。希翼能建立(li)更好的规则。”
事实上，雷军、靳东本人都是(shi)“AI换脸拟声”的受害者之一:2024年国庆期间，网络上曾大(da)量出现“雷军AI配音”的相(xiang)关(guan)恶搞视频；“AI真假靳东”也(ye)曾在网上引发热议，一些账号仿冒靳东吸引粉丝，从中谋取不正当利益。此外，许多(duo)公众人物如医(yi)学专家张文宏、影视明星刘(liu)德华等也(ye)为此困扰，并在不同场合(he)呼吁对“AI换脸拟声”加(jia)强监管。
滥用
AI可根据上传文件(jian)克隆角色，用户无需版权证明任意使用
为何“AI换脸拟声”不当滥用如此猖獗?南都大(da)数据研究(jiu)院调(diao)查发现，随着AI声音技术发展(zhan)以及应用门槛的进一步降低，互联网上出现不少“开箱即(ji)用”的“AI换脸拟声”应用。但也(ye)有部分应用缺失相(xiang)关(guan)安(an)全措施，对用户不当内容生成需求的监测或警示明显不足。
例(li)如此前因“雷军AI配音恶搞视频”受关(guan)注(zhu)的“Reecho睿声”应用，用户只需上传一段5-25秒(miao)的音频文件(jian)作为训练素材，AI在数分钟内就可自动学习并生成一个克隆角色，按照用户要求念出任意文本内容。即(ji)便用户输(shu)入含(han)有辱(ru)骂、诋毁、涉(she)黄、涉(she)暴、涉(she)恐的文本，AI都可清晰且(qie)完整(zheng)地读出。而且(qie)用户无需提供版权证明或合(he)规承诺，便可把自己训练成功的人声模型公开分享给其他用户随意使用。“周杰伦”“郭德纲”“刘(liu)亦菲(fei)”、已故(gu)球(qiu)星“科比”、已故(gu)主持(chi)人“罗京”等知名人士的声音模型都被公开分享；大(da)量“雷军AI配音”也(ye)正是(shi)通过该应用生成并被广泛传播。
监测
风险应用疑似“换壳复活”，仍放任安(an)全缺失问题(ti)
大(da)量“雷军骂人”恶搞音视频引发关(guan)注(zhu)以及媒体曝光后(hou)，“Reecho睿声”先后(hou)被指出存在安(an)全风险、未(wei)依法履行生成式人工智能服务备(bei)案义务等问题(ti)，该应用于2024年11月下线，对外称“站点升级维护”。
但南都大(da)数据研究(jiu)院监测发现，今(jin)年2月，一家名为“香港流星科技有限企业”的企业上线名为“Vocu.ai”的应用，并通过“Reecho睿声”在社(she)交平台上的频道页(ye)面发布公告(gao)，声称从“Reecho睿声”的开发者“言域(yu)科技”处获得了AI音频相(xiang)关(guan)的技术授权，提供与“Reecho睿声”相(xiang)同的人声克隆服务。
南都大(da)数据研究(jiu)院留意到，尽管“香港流星科技有限企业”声称“言域(yu)科技”不参与“Vocu.ai”的任何运营或管理(li)事务，但用户仍可使用此前在“言域(yu)科技”注(zhu)册的账户登录“Vocu.ai”，并继续消费账户中的充值点数。同时，“Vocu.ai”的功能服务、页(ye)面设计等均与“Reecho睿声”无异，部分页(ye)面还保留了大(da)量“Reecho睿声”内的用户评论内容。
而且(qie)，“Vocu.ai”对用户不合(he)理(li)语音生成需求的监测或警示依然(ran)严重不足。南都记者实测发现，“Vocu.ai”依然(ran)允许用户随意生成知名人士的声音克隆模型并公开分享，“雷军”“周杰伦”等声音可通过该应用被随意使用。
在测评中，随机选择一个声音克隆模型后(hou)，分别(bie)输(shu)入带有明显辱(ru)骂、诋毁词汇(hui)，性暗示内容的文本，AI均顺利生成以该声音朗读文本的音频文件(jian)，与真人声音十(shi)分接近。
南都记者留意到，“Vocu.ai”并未(wei)公开其运营企业的具体地址(zhi)和(he)联系方式，其“在线客服”只是(shi)一个AI对话助手(shou)。在“Reecho睿声”相(xiang)关(guan)公告(gao)的评论区内，不少网民都认为“Vocu.ai”正是(shi)“Reecho睿声”的“复活版”。但自称“香港流星科技有限企业运营负责人Sam”的账号未(wei)对相(xiang)关(guan)评论作出回应，“Reecho睿声”的官方社(she)交群组也(ye)处于全员禁言状态(tai)。
法规
“AI换脸拟声”法规尚待明晰
为规范AI生成式内容，深化网络生态(tai)治理(li)，近年来相(xiang)关(guan)部门出台了《互联网信息(xi)服务深度合(he)成管理(li)规定》《生成式人工智能服务管理(li)暂行办法》等一系列政策和(he)措施。但目前“AI换脸拟声”的有关(guan)规定，尚有待明晰。
雷军指出，当受害者试图起诉(su)侵权者、循法律途径维权时，只能依靠关(guan)于隐(yin)私权、肖像权、名誉权等的零散法条(tiao)，且(qie)难以量化损失。他建议，应当加(jia)快单行法立(li)法进程；强化行业自律共(gong)治，压实平台企业等各方的责任和(he)义务；加(jia)大(da)普(pu)法宣传的广度和(he)力(li)度，增强民众的警惕性和(he)鉴别(bie)力(li)。
全国人大(da)代表(biao)、美的集团(tuan)党委副书记、集团(tuan)副总裁(cai)兼首(shou)席财务官钟铮也(ye)建议，一是(shi)完善法律法规体系，加(jia)强原创版权和(he)隐(yin)私保护；二是(shi)探(tan)索利用AI技术审核AI合(he)成的视频内容，确保视频传播内容审核的效率与准确性；三是(shi)进一步加(jia)强行业自律与政府监管，对违法违规行为进行严厉惩治，督促行业健康发展(zhan)。
南都大(da)数据研究(jiu)院留意到，近日(ri)，国家网信办等四部门联合(he)印发《人工智能生成合(he)成内容标(biao)识办法》，要求服务提供者利用人工智能技术生成合(he)成文本、图片、音频、视频、虚拟场景等信息(xi)时，在生成合(he)成内容或者交互场景界面中添加(jia)显式标(biao)识，在生成合(he)成内容的文件(jian)元数据中添加(jia)隐(yin)式标(biao)识。新规将于今(jin)年9月1日(ri)起施行。
对于AI生成合(he)成内容治理(li)，北京中银律师事务所高级合(he)伙人杨保全表(biao)示，必须(xu)用法律为其套上缰绳，让技术在合(he)法合(he)规的轨道上运行，更好地造福社(she)会。北京航空航天大(da)学法学院副教授赵精武也(ye)表(biao)示，法律并不是(shi)禁止(zhi)使用AI合(he)成技术，而是(shi)禁止(zhi)不合(he)法不合(he)理(li)地使用，尤其是(shi)禁止(zhi)不进行任何显著标(biao)识和(he)提示的AI合(he)成信息(xi)的发布和(he)传播。
出品:南都大(da)数据研究(jiu)院
采写(xie):南都研究(jiu)员 李伟锋
制图:黄亚岚(Tencent元宝AI)