【经济界面(mian)】
夜深人静时，有人找它线上聊天、获取慰藉(jie)；视频带货时，有人用它快速生(sheng)成营销文案；同学聚会时，有人用它现场作(zuo)诗助兴……它，就是很多人眼中的“生(sheng)活好帮手”“工作(zuo)好搭(da)子”——人工智能(neng)（AI）大(da)模型(xing)。
近期，多款大(da)模型(xing)产品横空出世(shi)、风靡全球，再次(ci)掀起人工智能(neng)热潮(chao)。但(dan)与此同时，也有一些人利用人工智能(neng)生(sheng)成合成虚假内容，或为吸引眼球、赚取流量，或试图以(yi)假乱真、造谣诈骗等(deng)，带来一定风险和隐患，引发社(she)会关注。
近日，国家互联网信息办公室、工业和信息化部、公安部、国家广(guang)播电视总局联合发布《人工智能(neng)生(sheng)成合成内容标识办法》（以(yi)下简称(cheng)《办法》）。《办法》聚焦人工智能(neng)“生(sheng)成合成内容标识”关键点，通过标识提醒用户辨别虚假信息，明确相关服务主体的标识责任义务，规范内容制作(zuo)、传播各环节标识行为，将(jiang)于2025年9月1日起施行。
如何让人工智能(neng)生(sheng)成合成内容“亮明身份”，不再“真假难辨”？如何破解人工智能(neng)安全治理难题？记者就此进行了采访(fang)。
人工智能(neng)合成让人真假难辨
小猫小狗(gou)随着(zhe)音乐跳起舞蹈，家中“萌娃”大(da)战公鸡……在短视频平(ping)台上，人们(men)不时会刷到类似视频。其(qi)实，一些传播量、点赞量都很大(da)的“神奇视频”并非是真实的，而是由(you)人工智能(neng)生(sheng)成合成的。
所(suo)谓人工智能(neng)生(sheng)成合成内容，是指利用人工智能(neng)技术(shu)生(sheng)成、合成的文本、图片、音频、视频、虚拟(ni)场景(jing)等(deng)信息。
近年来，人工智能(neng)技术(shu)快速发展，为生(sheng)成合成文字(zi)、图片、音频、视频等(deng)信息提供了便利工具，海量信息得(de)以(yi)快速生(sheng)成合成并在网络平(ping)台传播，在促进经济发展、丰富(fu)网上内容、便利公众生(sheng)活的同时，也带来生(sheng)成合成技术(shu)滥用、破坏网络生(sheng)态等(deng)问题，引发社(she)会各界的关注。
“一些喜(xi)欢我参演的影(ying)视剧的观众，被AI换脸视频骗得(de)很惨(can)，这个性质非常恶劣。”一位演员说，希翼能(neng)建立更好的规范。实际(ji)上，不少(shao)公众人物都遭遇过类似问题。
公安部数据显示，近两年来，全国共发生(sheng)“AI换脸”类诈骗案近百起，累计造成的经济损(sun)失高达2亿元。
“人工智能(neng)生(sheng)成合成内容日益逼真，也催生(sheng)虚假消息传播、身份信息冒充、恶意内容生(sheng)成等(deng)新(xin)型(xing)安全风险，并削弱着(zhe)公众对网络传播内容的信任根基。”中国工程院院士、浙江大(da)学教(jiao)授陈纯说。
中国电子信息产业发展研究院副总工程师刘权认为，人工智能(neng)大(da)模型(xing)本身存在不可说明性问题。大(da)模型(xing)运作(zuo)机制不透(tou)明，产生(sheng)的“黑箱”属性导致不可说明性。这种不可说明性降(jiang)低了可信度，使得(de)输出的内容可能(neng)存在事实性错误和偏差，特别是在医疗、金融(rong)等(deng)领域，难以(yi)满足严苛的可信要求。
中国社(she)会科学院大(da)学互联网法治研究中心主任刘晓春表示，通过人工智能(neng)生(sheng)成合成技术(shu)降(jiang)低了内容“伪造”“造假”等(deng)的时间成本，尤其(qi)在图片、音频、视频等(deng)领域，从早期引起广(guang)泛关注的“换脸”工具，到伪造人声、通话视频的诈骗活动(dong)，再到“被压在废墟下的小男孩(hai)”等(deng)热点事件，人工智能(neng)技术(shu)带来的深度伪造、虚假信息、不良(liang)信息、抄袭侵权等(deng)问题，对包括内容治理在内的网络空间秩序(xu)构成挑战，对治理工具、方式和手段(duan)也提出了更新(xin)更高的要求。
数据显示，截至2024年底，共302款生(sheng)成式人工智能(neng)服务在国家网信办完成备(bei)案，其(qi)中当(dang)年新(xin)增238款备(bei)案。
“当(dang)前，大(da)模型(xing)能(neng)够生(sheng)成高真实感的文本、人像、场景(jing)、音频，普通民众不借助检(jian)测工具往往很难辨别内容真伪。”中国科学院计算技术(shu)研究所(suo)数字(zi)内容合成与伪造检(jian)测实验室主任、研究员曹娟认为，随着(zhe)生(sheng)成式人工智能(neng)技术(shu)在各个行业落地(di)应(ying)用，生(sheng)成合成内容的数据规模快速增长，对生(sheng)成内容进行全面(mian)检(jian)测成本太(tai)高。生(sheng)成合成内容适用场景(jing)大(da)幅扩展，助长了欺骗场景(jing)多样化。
打造可信赖(lai)的AI技术(shu)
《办法》的推出是我国推进人工智能(neng)领域安全治理、促进产业规范健康发展、引导技术(shu)向善的重要举措，标志着(zhe)我国在生(sheng)成式人工智能(neng)领域迈出了构建安全可信生(sheng)态的关键一步。
国家互联网信息办公室有关负责人先容，《办法》重点解决“哪(na)些是生(sheng)成的”“谁生(sheng)成的”“从哪(na)里生(sheng)成的”等(deng)问题，推动(dong)由(you)生(sheng)成到传播各环节的全流程安全管理，力(li)争打造可信赖(lai)的人工智能(neng)技术(shu)。
针对服务提供者，《办法》明确，应(ying)当(dang)对文本、音频、图片、视频、虚拟(ni)场景(jing)等(deng)生(sheng)成合成内容添加显式标识，在提供生(sheng)成合成内容下载、复制、导出等(deng)功能(neng)时，应(ying)当(dang)确保文件中含有满足要求的显式标识；应(ying)当(dang)在生(sheng)成合成内容的文件元数据中添加隐式标识。
针对互联网应(ying)用程序(xu)分发平(ping)台，《办法》提出在应(ying)用程序(xu)上架或者上线审(shen)核时，应(ying)当(dang)要求互联网应(ying)用程序(xu)服务提供者说明是否提供人工智能(neng)生(sheng)成合成服务，并核验其(qi)生(sheng)成合成内容标识相关材(cai)料。
针对用户，《办法》提出，用户使用网络信息内容传播服务发布生(sheng)成合成内容的，应(ying)当(dang)主动(dong)声明并使用服务提供者提供的标识功能(neng)进行标识。
此外，任何组织和个人不得(de)恶意删除(chu)、篡改、伪造、隐匿本办法规定的生(sheng)成合成内容标识，不得(de)为他人实施上述恶意行为提供工具或者服务，不得(de)通过不正(zheng)当(dang)标识手段(duan)损(sun)害他人合法权益。
“《办法》以(yi)合理成本提高安全性，促进人工智能(neng)在文本对话、内容制作(zuo)、辅助设计等(deng)各应(ying)用场景(jing)加快落地(di)，同时减轻人工智能(neng)生(sheng)成合成技术(shu)滥用危害，防范利用人工智能(neng)技术(shu)制作(zuo)传播虚假信息等(deng)风险行为，推动(dong)人工智能(neng)健康有序(xu)发展。”该负责人说。
中国政法大(da)学数据法治研究院教(jiao)授张凌寒认为，人工智能(neng)生(sheng)成内容标识制度具备(bei)独特制度价值。标识能(neng)够有效区分出人工智能(neng)生(sheng)成合成的信息，防范虚假信息的传播利用；标识能(neng)够帮助用户快速了解生(sheng)成式人工智能(neng)产品和服务的相关属性或参数信息；标识能(neng)够协助监管部门对生(sheng)成式人工智能(neng)产品或服务实施评估、追溯(su)等(deng)监管，推进人工智能(neng)生(sheng)成合成内容合法合规发展。
张凌寒表示，目(mu)前，人工智能(neng)生(sheng)成合成内容标识制度主要关注“是否机器(qi)生(sheng)成”的形式判(pan)断。随着(zhe)标识技术(shu)的进步与发展，未来标识制度能(neng)够发挥(hui)更为丰富(fu)的功能(neng)，从形式判(pan)断逐(zhu)渐(jian)转(zhuan)向“是否足够可靠”的质量判(pan)断，进一步促进行业健康发展。
安全治理进入“深水区”
良(liang)法善治，重在实施。
为推动(dong)《办法》落地(di)实施，强制性国家标准《网络安全技术(shu) 人工智能(neng)生(sheng)成合成内容标识方法》同步发布，更好地(di)引导相关主体规范开展标识活动(dong)。
“当(dang)前，人工智能(neng)安全治理已从危害探讨(tao)进入实际(ji)执法的深水区。”曹娟说，大(da)模型(xing)生(sheng)成技术(shu)迭代更新(xin)很快，平(ping)均两个月就会出现新(xin)的里程碑模型(xing)，提升(sheng)针对新(xin)生(sheng)伪造方法的泛化能(neng)力(li)至关重要，需要摒(bing)弃“来一个打一枪”的事后思维，构建AI鉴伪底座模型(xing)，提高鉴伪模型(xing)的泛化适用性能(neng)。
曹娟表示，要研究精准化对抗鉴伪技术(shu)，防范恶意逃避(bi)风险。同时，降(jiang)低对无害生(sheng)成内容传播的影(ying)响(xiang)，兼顾生(sheng)成内容应(ying)用的发展与治理，打造全民化伪造检(jian)测工具，推动(dong)人人可用鉴伪。
“可以(yi)预见，我国人工智能(neng)安全执法将(jiang)延续重点事项监管、促进产业有序(xu)发展的方向。”公安部第三研究所(suo)副所(suo)长金波说，伴(ban)随标识管理与算法备(bei)案、安全评估等(deng)机制逐(zhu)步实现有机衔接，生(sheng)成合成内容标识合规或将(jiang)成为相关部门开展人工智能(neng)监督检(jian)查、专项行动(dong)的重点关注领域。在此进程中，如何平(ping)衡好发展与安全、创(chuang)新(xin)与责任，提升(sheng)执法的专业化、精细化、智慧化水平(ping)，从而培育出安全、开放、公平(ping)的人工智能(neng)产业生(sheng)态环境，还(hai)需要深入探究。
“此外，‘人的因素’应(ying)融(rong)入人工智能(neng)标识管理的全过程。”金波表示，要着(zhe)重提升(sheng)公众对信息内容真实性、来源可追溯(su)性的评估能(neng)力(li)，积极培育公众的人工智能(neng)素养，确保人工智能(neng)技术(shu)成果普惠共享。
在陈纯看来，《办法》的落地(di)离不开全社(she)会凝心聚力(li)和协同配合。地(di)方主管部门、高校、科研机构、企业可共同参与，形成标识工作(zuo)先行的多点协同内容治理网络，推动(dong)标识工作(zuo)行稳致远。此外，有必要建立全国性的内容标识公共服务平(ping)台，以(yi)可视可交互的实际(ji)操练形式，促进公众和产业深入理解标识工作(zuo)。
“生(sheng)成式人工智能(neng)促使信息技术(shu)从普通工具属性向‘思维伙伴(ban)’型(xing)高智能(neng)化工具属性进化，带来颠(dian)覆性发展机遇，未来势必成为大家(men)的必备(bei)技能(neng)，这要求大家(men)在使用时切实正(zheng)确理解并管理人工智能(neng)。”陈纯说。（记者 刘坤 通讯员 柳素雯）