本文转自【中国青年报】;
在(zai)人工智能飞速发(fa)展的当下,对于广大学生(sheng)和(he)科研工编辑而言,一个关键问题随之而来:借(jie)助(zhu)这(zhe)样的前沿大模型写(xie)论(lun)文,真的靠(kao)谱吗?
3月28日,话题#防(fang)止DeepSeek乱编文献的方法#冲上(shang)热搜。记者注意到,用AI工具写(xie)论(lun)文“被坑”的经历,并非鲜(xian)见(jian)。
问AI一个问题,它给了你一个特别详(xiang)细、丰富,看上(shang)去好有逻辑的答(da)案。但当大家(men)去核实时,却发(fa)现这(zhe)些(xie)信息(xi)完全(quan)是虚构的?这(zhe)就是著名的“AI幻觉”现象。
AI幻觉指(zhi)的是AI会生(sheng)成(cheng)看似合理但实际确实错误的信息(xi),最常见(jian)的表现就是会编造(zao)一些(xie)不(bu)存在(zai)的事实或者细节。
据“科普中国”,造(zao)成(cheng)AI幻觉问题的成(cheng)因很多,例如:基(ji)于统计(ji)关系的预测;训练(lian)数据的局限(xian)性;过拟(ni)合问题,即因为(wei)记住了太多错误或者无关紧要的东西,从而让AI对训练(lian)数据中的噪声过于敏感;有限(xian)的上(shang)下文窗口;生(sheng)成(cheng)流畅回答(da)的设计(ji)等等。
近(jin)日,中国青年报邀请了3位专家学者,一起聊聊技术浪潮中如何守护年轻人的思辨能力。
中国人民大学资讯学院教授卢(lu)家银就指(zhi)出,在(zai)知(zhi)识建构上(shang),AI生(sheng)成(cheng)的虚假学术成(cheng)果,可能扭曲青年对科学方法论(lun)的理解,削弱其“假设-验证”的科研逻辑训练(lian)。在(zai)思维发(fa)展上(shang),AI谣(yao)言通过算(suan)法推荐的“信息(xi)茧房”形成(cheng)逻辑闭(bi)环,不(bu)利于批判性思维的培养。
北京师范(fan)大学教育(yu)学部教授、教育(yu)技术学北京市重点实验室副主任李艳燕建议,年轻人可以把AI看作一位平等对话的智者,通过引导与AI的对话互动(dong),促进个体思维链的形成(cheng),并校准认知(zhi)偏差。这(zhe)种去权威(wei)化的思辨训练(lian),可以帮助(zhu)年轻人在(zai)与AI的对话中保持独(du)立判断,实现认知(zhi)跃迁。
北京邮电大学马克思主义学院副教授宋林泽认为(wei),AI输出的内容(rong)只是一个认知(zhi)起点,而不(bu)是终(zhong)点。大学生(sheng)需要主动(dong)去验证它的内容(rong),比如查阅权威(wei)来源、对比不(bu)同观点,甚至直接与领域专家交流。这(zhe)种验证过程,不(bu)仅能帮助(zhu)大家(men)更全(quan)面地理解问题,还能让大家(men)在(zai)面对复(fu)杂信息(xi)时更有判断力。
如何应对AI幻觉呢?
AI工具研究者田威(wei)提到,想要获得(de)准确答(da)案,提问方式很关键。与AI交流也需要明确和(he)具体,避免模糊或开放性的问题,提问越具体、清晰,AI的回答(da)越准确。
总结(jie)成(cheng)提示词(ci)技巧就是下面四种问法:
1.设定边界(jie):“请严格(ge)限(xian)定在(zai)2022年《自然》期(qi)刊发(fa)表的研究范(fan)围内”;
示例:“先容(shao)ChatGPT的发(fa)展历程”→“请仅基(ji)于OpenAI官方2022-2023年的公(gong)开文档,先容(shao)ChatGPT的发(fa)展历程”
2.标注不(bu)确定:“对于模糊信息(xi),需要标注‘此(ci)处为(wei)推测内容(rong)’”;
示例:“分析特斯拉2025年的市场份额”→“分析特斯拉2025年的市场份额,对于非官方数据或预测性内容(rong),请标注[推测内容(rong)]”
3.步(bu)骤拆解:“第一步(bu)列举确定的事实依(yi)据,第二步(bu)展开详(xiang)细分析”;
示例:“评估人工智能对就业的影(ying)响”→“请分两步(bu)评估AI对就业的影(ying)响”:
1)先列出目(mu)前已发(fa)生(sheng)的具体影(ying)响案例;
2)基(ji)于这(zhe)些(xie)案例进行(xing)未来趋势(shi)分析”。
4.明确约(yue)束:明确告诉AI要基(ji)于已有事实回答(da),不(bu)要进行(xing)推测。
示例:“预测2024年房地产市场走势(shi)”→“请仅基(ji)于2023年的实际房地产数据和(he)已出台的相关政策进行(xing)分析,不(bu)要加入任何推测性内容(rong)”。(详(xiang)细请戳全(quan)文)
在(zai)AI自己的答(da)案中提到,可以通过指(zhi)令约(yue)束、工具验证和(he)人工审核三重保障,大幅(fu)降低AI虚构文献的风险。值得(de)注意的是,它还将“人工审核”放到了“最后防(fang)线”的重要位置。
田威(wei)提醒,AI幻觉并非没有好处。有时候与其把AI幻觉当成(cheng)缺陷,不(bu)如把它看作创意的源泉。在(zai)写(xie)作、艺(yi)术创作或头脑风暴时,这(zhe)些(xie)“跳跃性思维”反而可能帮大家(men)打开新世界(jie)的大门。
AI幻觉的本质——AI在(zai)知(zhi)识的迷雾中,有时会创造(zao)出看似真实,实则虚幻的“影(ying)子”。但就像任何工具一样,关键在(zai)于如何使(shi)用。
归根结(jie)底,在(zai)这(zhe)个AI与人类共同进步(bu)的时代,重要的不(bu)是责备AI的不(bu)完美,而是学会与之更好地协作。
中国青年报 来源:中国青年报(见(jian)习记者 许子威(wei) 记者 任冠青)、科普中国、网友评论(lun)等