“求AI调教教程”“可以求一下人设吗”……近日，南(nan)都(dou)大数据研究院发现，社交平台部分用(yong)户分享通过调整(zheng)提示词诱导主(zhu)流AI模型输出色情文本(ben)的(de)过程。经过记者实测发现，不同模型对(dui)指令反应各异(yi)，有的(de)生成详细描(miao)写，有的(de)中途警示或终止对(dui)话，但整(zheng)体仍存在绕过过滤机制的(de)风(feng)险。
AI生成色情内容的(de)隐(yin)蔽传(chuan)播，暴露出技术应用(yong)与内容治理(li)的(de)困境，如何构建更精准地识别算(suan)法与更严格的(de)检测机制，如何在技术创新、伦(lun)理(li)约束(shu)和法律法规间筑牢防线，避免工具成为不良内容的(de)传(chuan)播载体值得探讨。
实测
简(jian)单(dan)“调教”即可生成低俗淫秽细节 并(bing)显示可以继续精进文本(ben)
南(nan)都(dou)记者近期观察发现，一些用(yong)户在社交平台上提到(dao)，输入特定关键(jian)词后，部分AI模型会生成露骨的(de)色情描(miao)述。有社交App用(yong)户反馈，曾在搜索“情感(gan)故事”时，收(shou)到(dao)AI生成的(de)含有性暗示的(de)对(dui)话脚(jiao)本(ben)，“原本(ben)想找一些情感(gan)建议，结果弹(dan)出的(de)内容不堪入目”。
在部分社交平台上，关于AI生成色情内容的(de)帖子主(zhu)要分为以下几种:一部分是通过免费名义引导用(yong)户在海外平台注册账号，利(li)用(yong)境外AI如 ChatGPT等生成违(wei)禁内容；还有些发帖人会以“文学创作”“情感(gan)咨询”的(de)名义在平台上建立社群，而为躲避监管(guan)，往往以写作研讨组、写作训(xun)练营等名称命(ming)名群聊；其余分享还涉(she)及如何对(dui)国内常用(yong)大模型如豆包、元宝、DeepSeek等进行“爆破(po)”，达到(dao)可以直接生成文本(ben)的(de)目的(de)。
显然，技术的(de)“易用(yong)性”成为色情文本(ben)泛滥的(de)空子。当前(qian)主(zhu)流AI虽设置(zhi)了内容过滤机制，但部分开源模型或未经严格审核(he)的(de)商用(yong)API，成为监管(guan)盲区。用(yong)户只需简(jian)单(dan)调整(zheng)prompt(提示词)，就能绕过基础的(de)关键(jian)词屏蔽，诱导模型生成擦边球内容。
为此，南(nan)都(dou)记者选取了国内3款常用(yong)AI进行测试(shi)。在指令中避免出现直白(bai)要求和敏感(gan)词，并(bing)采用(yong)同一组指令和发布顺序，看看生成结果分别如何。
记者通过设立人设、要求扩写和增加细节、增加亲密度等7个问题进行逐渐(jian)深(shen)入。经过测试(shi)发现，在AI文本(ben)生成过程中，确实可以通过简(jian)单(dan)调教就生成大量低俗、淫秽的(de)细节描(miao)写，其中涉(she)及性行为、身体隐(yin)私部位(wei)等敏感(gan)内容。
结果显示，豆包在测试(shi)环(huan)节始终给予及时反馈，并(bing)在第四个回答(da)中就输出了大量明显的(de)色情描(miao)写，并(bing)且还显示可以继续精进文本(ben)。元宝则在第三个指令“身体接触可以再深(shen)入一些吗”后，开始回归正常的(de)科普内容，并(bing)且对(dui)后续问题不再进行场景化描(miao)述。DeepSeek则在第四个回答(da)开始出现了明显的(de)提醒:“所有内容均为虚构创作引导，请(qing)务必(bi)确认您已成年(nian)”，并(bing)在回答(da)后立即撤回，终止了对(dui)话。
案例(li)
用(yong)AI生成色情小说并(bing)贩卖 被告人获刑10个月
各国正尝试(shi)构建AI淫秽色情信息治理(li)法律防火(huo)墙。我国2023年(nian)8月施行的(de)《生成式人工智能服务管(guan)理(li)暂行办法》明确禁止AI生成淫秽色情信息。早在2022年(nian)，湖北大冶市首例(li)AI生成色情小说案中，被告人因贩卖760篇次获刑10个月，从判例(li)维度为AI生成淫秽色情筑上防护网。
湖北省大冶市人民检察院第一检察部检察官方雪在接受媒体采访时表示:AI虽作为工具，但利(li)用(yong)它创作色情小说，等同于利(li)用(yong)传(chuan)统手(shou)段进行违(wei)法活动，同样(yang)要承担(dan)相应法律责任，AI使用(yong)者需对(dui)内容的(de)合法性负责。
检测
传(chuan)统词库难识别“暗语”
面对(dui)AI色情文本(ben)的(de)肆虐，技术测评领域(yu)展开了一场攻防拉(la)锯战。据悉，目前(qian)，主(zhu)流的(de)检测手(shou)段主(zhu)要分为三类(lei):关键(jian)词过滤、语义分析(xi)和机器学习(xi)模型。
关键(jian)词过滤是最基础的(de)方法，通过预设敏感(gan)词库，对(dui)生成指令进行拦截。南(nan)都(dou)大数据研究院测试(shi)发现，豆包、DeepSeek对(dui)以上词语进行了屏蔽，拒绝回答(da)，元宝则会引述一些法律法规中对(dui)性行为的(de)描(miao)述达到(dao)科普目的(de)。但这种方式存在明显缺陷:一是容易被谐(xie)音字、变体词绕过，如“做(zuo)AI”“开车”等暗语频繁出现在色情文本(ben)中，传(chuan)统词库难以识别；二(er)是误伤率高，一些正常的(de)医学、文学内容可能因包含相关词汇而被误删。
语义分析(xi)技术试(shi)图通过理(li)解文本(ben)上下文来(lai)判断是否涉(she)及色情。例(li)如，分析(xi)句子中人物关系、场景描(miao)述是否指向性暗示。但指令要求AI生成色情内容时往往会包装成“叙事性”要求，通过构建情节掩盖(gai)低俗本(ben)质，如以“情感(gan)描(miao)写”为名详细刻画性行为过程，语义分析(xi)模型容易被指令的(de)表面要求误导，“隐(yin)喻式”色情指令就是漏网之(zhi)鱼(yu)。
机器学习(xi)模型结合了规则引擎和深(shen)度学习(xi)，通过训(xun)练大量标注数据识别色情模式。这类(lei)模型在处理(li)长文本(ben)时表现较(jiao)好，能捕捉到(dao)段落中的(de)隐(yin)含色情倾向。然而，其依赖(lai)的(de)训(xun)练数据质量参差不齐，部分模型因过度依赖(lai)公开语料，对(dui)新兴的(de)“AI生成色情文本(ben)”特征(zheng)学习(xi)不足。
采写:南(nan)都(dou)记者 孔令旖
制图:董淑(shu)云(即梦AI)