赫拉利：这次会议令人印象非常深刻。我在这里看到(dao)，人们不仅关心(xin)人工智能的短期经济潜力，还(hai)关心(xin)人类将如何应对比大家更聪明的事物这一(yi)问题。

在人类历(li)史上，从未出(chu)现一(yi)个(ge)智力较低的物种能够控制一(yi)个(ge)智力更高的物种的情况。如果大家创(chuang)造出(chu)比人类更聪明的物种，比如超级智能AI，世界会发生什么？也许在短期内，这将有利于全球经济增长和繁荣。但几十(shi)年后，全世界可(ke)能存在数百万个(ge)超级智能AI，它们管理着(zhe)大家的金融(rong)系统、军事系统、学问系统，届时人类将如何与(yu)这个(ge)全新的超级智能物种共存？

中国发展(zhan)高层论坛能够关注这一(yi)宏大主题，而不仅仅是人工智能的直接经济影(ying)响，这令我印象深刻。中国和美国是AI领域的两个(ge)领先国家，全世界都在关注这两个(ge)国家的发展(zhan)，以了解AI的发展(zhan)方向。例如，中国初(chu)创(chuang)公(gong)司深度求索（DeepSeek）发布的AI模型引(yin)发全球关注，每个(ge)人都知道它将产(chan)生影(ying)响，不仅仅是对中国，对非洲(zhou)、中东(dong)和美国也是如此。

《参考消(xiao)息》：但在您的新著《智人之上》中，您总体上对AI持悲观态度，并对其发展(zhan)提出(chu)警(jing)示。大家应该积极拥(yong)抱其带(dai)来的变革，还(hai)是谨慎控制其发展(zhan)？

赫拉利：我并不反对AI。我不认为大家可(ke)以或应该停止AI的发展(zhan)。我只是认为大家需(xu)要(yao)在AI安(an)全方面(mian)投入更多，要(yao)更加谨慎。我倾向于更多谈论AI带(dai)来的风险，而很少谈及其积极影(ying)响，是因为现在已经有足够多的人在谈论它的发展(zhan)潜力。

他们往往是对的。AI可(ke)以为人类做很多有用的事情，比如改善医疗(liao)保健、提升教育水平、帮助应对气候变化等。但它也会带(dai)来危险。作为一(yi)名历(li)史学家和哲(zhe)学家，我认为我的工作就是通过强调风险来平衡人们对AI的看法。大家正在开发一(yi)种可(ke)能比人类更聪明的东(dong)西，大家要(yao)如何与(yu)它共存？

AI是一(yi)个(ge)智能体，可(ke)以自己做决定，甚至可(ke)以自己发明新的想法。我最近翻译了一(yi)首AI创(chuang)作的诗歌，里面(mian)充满创(chuang)造性的隐喻，其遣词造句之优美令我感到(dao)惊讶。几千年来，从书籍、诗歌到(dao)整(zheng)个(ge)经济体系，大家周围的一(yi)切(qie)都是来自人类的智慧。如果世界上大多数东(dong)西都是由外部智能、非人类智能创(chuang)造出(chu)来的，大家生活在这样的世界里意味着(zhe)什么呢？

《智人之上》一(yi)书封面(mian)（资料图片）

AI领域存在“信任悖论”

《参考消(xiao)息》：中美两国的科技公(gong)司在AI领域都取得不少成果，这会给世界带(dai)来什么变化？

赫拉利：我认为最大的危险是中国和美国公(gong)司之间，或者中国和美国政府之间，会出(chu)现一(yi)种类似军备竞赛的AI竞赛。但在AI领域的竞赛，最后的赢家不会是中国或美国，而是AI本身。大家能真(zhen)正控制AI、开发出(chu)一(yi)种可(ke)以与(yu)人类共存的AI的唯一(yi)机会，是通过全球人类合作来实现。

我遍访世界各地，与(yu)AI革命的领导者、AI技术的开发者交(jiao)谈。我通常会问他们两个(ge)问题。第一(yi)个(ge)问题是，“你们为何走得如此之快？”几乎每个(ge)人的回答都一(yi)样。他们说，“大家知道开发比人类更聪明的东(dong)西是有风险的，大家也希翼放慢脚步，在安(an)全方面(mian)投入更多，做得更谨慎。但大家担心(xin)，如果大家放慢脚步，而竞争对手却不肯放慢脚步，他们就会赢得竞赛”。

然后我问他们第二(er)个(ge)问题，“你信任你正在开发的超级智能AI吗？”那些(xie)刚刚向我说明说他们不能信任人类竞争对手的人却告诉(su)我，他们认为可(ke)以信任超级智能AI。我认为这简直无法理解，如果你不能信任人类，你凭什么认为你可(ke)以信任正在开发的超级智能异类物种呢？

虽然人与(yu)人之间建立信任并不容易，但至少大家有这方面(mian)的经验。然而，大家没有与(yu)AI建立信任的经验。大家发现，即使是处于最初(chu)发展(zhan)阶段(duan)的AI也会有撒谎和操纵行为，做出(chu)一(yi)些(xie)意想不到(dao)的事情，那么当大家向这个(ge)世界释放数百万个(ge)超级智能AI时，谁也不知道会发生什么。

应该创(chuang)造“有益的AI”

《参考消(xiao)息》：中国已经在AI治理领域发起多项国际提议，您认为中国还(hai)可(ke)以在哪些(xie)方面(mian)作出(chu)贡献(xian)？

赫拉利：我希翼中国作为全球领先的人工智能强国之一(yi)，可(ke)以尽最大努力防止世界出(chu)现AI军备竞赛的局面(mian)，并探索出(chu)如何让AI更安(an)全或如何教育AI的方法。

大家可(ke)以把AI的发展(zhan)想象成一(yi)个(ge)小孩的诞生。仅仅把一(yi)个(ge)新生儿带(dai)到(dao)这个(ge)世界是不够的，还(hai)需(xu)要(yao)教育他。

在儿童教育中，孩子(zi)往往不会听从父母的指(zhi)令，但会观察父母的行为，然后模仿他们。同样，如果大家试图教育AI不要(yao)贪图权力、不要(yao)竞争、不要(yao)撒谎、不要(yao)操纵，但当人类为了权力而竞争、撒谎和操纵时，AI就会模仿这些(xie)行为。所以不是说大家随便找几个(ge)哲(zhe)学家和计(ji)算机科学家一(yi)起列出(chu)AI价值观的清单，然后将其编入AI就行了。如何创(chuang)造出(chu)AI只是最容易的部分，困难的是如何教育它成为一(yi)个(ge)“有益的AI”。

《参考消(xiao)息》：您建议必须让AI对齐(qi)人类价值观，确保它的演化和使用符合人类长远利益。但全球价值观存在巨大分歧，大家应以何种机制确立对齐(qi)的基(ji)准？

赫拉利：虽然人与(yu)人之间存在许多表面(mian)上的差异，但当大家更深入观察时，会发现所有人都具有相同的生物学特征(zheng)，相同的基(ji)本需(xu)求、感受和情感。不管是生活在哪种学问中，没有人喜欢痛苦，没有人认为撒谎是一(yi)件好事。

在21世纪(ji)初(chu)的世界，尽管存在学问差异，但人类成功建立一(yi)个(ge)相对稳定的国际秩序(xu)，各国政府将更多的预算用于医疗(liao)保健，而非军事。每个(ge)人都希翼生活在一(yi)个(ge)医疗(liao)保健比军事获得更多资源的世界。

各国可(ke)以自己出(chu)台一(yi)些(xie)规定，即使其他国家有不同意见。例如，一(yi)项很重要(yao)的规定是禁止AI伪装成人类，就像禁止人类伪造货币一(yi)样。但在其他一(yi)些(xie)领域，只有国际条(tiao)约才能发挥作用。最明显的例子(zi)是军事领域，AI可(ke)以开发全自动武器系统。如果只有一(yi)个(ge)国家禁止AI武器，而其他国家却在开发这种武器，那么这个(ge)国家在军事上就会落后。因此，除非其他国家都同意禁止AI武器，否(fou)则(ze)没有哪个(ge)国家愿意这么做。但要(yao)实现它并不容易，因为即使人们签署了条(tiao)约，如何保证条(tiao)约得到(dao)实行也是个(ge)大问题。

《参考消(xiao)息》：AI的出(chu)现对就业(ye)市场产(chan)生巨大影(ying)响，有些(xie)工作可(ke)能被AI取代。您对年轻人在职业(ye)选择上有何建议？

赫拉利：这是人类历(li)史上第一(yi)次大家不知道10年或15年后就业(ye)市场会是什么样子(zi)。或许有人认为这是计(ji)算机时代，应该学习编程，但AI的编程能力已经开始超越人类，十(shi)几年后公(gong)司可(ke)能不再需(xu)要(yao)人类程序(xu)员。人们应该学习什么？大家无法得知确切(qie)答案。

我能给出(chu)的最好建议是，要(yao)掌握广泛的技能，而不是狭隘的技能。人类具备四种基(ji)本能力。大家有智力、社交(jiao)能力，还(hai)有运动能力和情感能力。大家必须平衡好这四项能力。

我建议年轻人不要(yao)只关注智力，很快人类将拥(yong)有超级智能AI，大多数仅靠智力的工作都将被自动化。如果你训(xun)练出(chu)一(yi)套属于自己的广泛技能，它将在未来更好地为你所用。

从“网”到(dao)“茧”的隐喻

《参考消(xiao)息》：您在著作中提到(dao)“硅幕”的风险。人类应如何避(bi)免陷入“数字(zi)冷战”，加强人工智能国际治理与(yu)合作？

赫拉利：当互联网在20世纪(ji)90年代首次出(chu)现时，互联网时代的主要(yao)隐喻是“网络”，就像蜘蛛网一(yi)样。这张(zhang)漂亮的网络将全世界的每个(ge)人都连接在一(yi)起，这就是万维网。

现在主要(yao)的隐喻是“茧”。这种茧就像一(yi)张(zhang)网，将大家包(bao)裹起来或者阻(zu)隔(ge)大家。大家以为自己看到(dao)了整(zheng)个(ge)世界，但实际上大家只看到(dao)了自己被包(bao)裹在其中的茧。即使互相交(jiao)谈，大家也无法理解对方，因为大家接触到(dao)完全不同的信息、相信完全不同的东(dong)西。这就是我所说的另一(yi)个(ge)隐喻——“硅幕”。

在冷战时期，人们谈论的“铁幕”是用钢、铁制成的栅栏和防御工事，将不同的国家分开。现在，全球将会有一(yi)道“硅幕”，你的智能手机或电脑上的信息、代码(ma)将决定你属于“硅幕”的哪一(yi)边。如果发生这种情况，人类在任何事情上的合作机会，比如气候变化、AI治理，都注定会失败，因为人类将无法相互理解和交(jiao)流。

大家需(xu)要(yao)让世界保持相对开放。现在的美国政府，特别(bie)是特朗(lang)普政府，它对世界的愿景是什么？它把世界想象成一(yi)个(ge)堡垒的集合，认为每个(ge)国家都应该有很高的墙，阻(zu)止外国商品、思想和人员进入其中。如果真(zhen)的如特朗(lang)普政府所想，整(zheng)个(ge)世界只是堡垒的集合，那么最大的问题就是如何管理这些(xie)堡垒。历(li)史上，每个(ge)堡垒自然都想获得更多的领土、安(an)全和繁荣，然后就会产(chan)生冲突。如果没有任何共同价值观、没有任何国际机构、没有任何协(xie)议，唯一(yi)能解决堡垒之间分歧的就是战争。大家需(xu)要(yao)防止这种情况发生。

《参考消(xiao)息》：您如何看待美国对中国实施的技术封锁？

赫拉利：我不是贸易方面(mian)的专家，但大家确实看到(dao)许多国家现在都在采取关税措施，同时实施禁令和封锁。很多时候，一(yi)个(ge)国家使用的技术在另一(yi)个(ge)国家会被禁止。世界正在变成这样的堡垒网络。

当然，他们总是有很好的理由来说明为什么需(xu)要(yao)保护自己的产(chan)业(ye)。但大家最终(zhong)看到(dao)的场景是这些(xie)堡垒在相互争斗。大家如何创(chuang)造一(yi)个(ge)更加开放的世界，这才是问题所在。一(yi)个(ge)开放的世界并非乌托(tuo)邦，因为二(er)三十(shi)年前的世界就非常开放。这是人类的决定。

这也是为何大家要(yao)在不同国家之间建立信任，不仅仅是为了防止战争，也是为了防止AI竞赛。在这场竞赛中，AI将获胜，人类将失败。这是一(yi)项大工程，我认为全球领导人都应该担起这个(ge)责任。

《参考消(xiao)息》：无论身处“硅幕”哪一(yi)边，大家都会碰到(dao)算法，尤(you)其是在社交(jiao)平台或一(yi)些(xie)资讯推(tui)送(song)中。大家该如何应对？

赫拉利：在资讯行业(ye)，最重要(yao)的角(jiao)色是编辑。但今天的社交(jiao)平台越来越多地被AI编辑控制，而它们往往不关心(xin)真(zhen)相，也不在意社会责任。它们只关心(xin)所谓的用户参与(yu)，让更多人花更多时间在平台上。它们发现，实现这一(yi)目标的最简单方法是发布耸人听闻的故事、阴(yin)谋论和假(jia)资讯，基(ji)本上就是按下(xia)人类大脑中的仇(chou)恨、愤怒或恐惧按钮。

要(yao)改变这一(yi)状况，大家需(xu)要(yao)政府层面(mian)的监管，比如要(yao)求AI不能伪装成人类。在个(ge)人层面(mian)，大家要(yao)学会“信息节食”。信息是思想的食粮，但信息太(tai)多不是一(yi)件好事。想想看，如果你整(zheng)天都在吃(chi)东(dong)西，没有时间让胃进行消(xiao)化，你就会生病。同样，如果你只是不断摄入信息，从不花时间来消(xiao)化、反思和冥想，你的思想就会生病。

大家还(hai)需(xu)要(yao)教育人们如何区分可(ke)靠和不可(ke)靠的信息。这应该是学校(xiao)的一(yi)项主要(yao)任务(wu)。