尤瓦尔·赫拉利：人工智能对我们的操控，可能比你想的更严重
尤瓦尔·赫拉利：
是的，今天我想和大家谈的是人工智能和人类的未来。
我知道这次会议的重点是人类正面临的生态危机，而人工智能无论好坏都是这场危机的一部分。人工智能可以在很多方面帮助我们解决生态危机，但也可以加剧危机。
事实上，人工智能可能会改变生态系统的意义。因为，40亿年以来地球的生态系统只包含有机生命形式，而现在或不久的将来我们可能会看到第一批无机生命形式的出现，或至少是无机媒介的出现。
自二十世纪中叶计算机时代开始，人们始终对人工智能怀有恐惧，这种恐惧激发了许多经典科幻作品的诞生，如《终结者》《黑客帝国》等。
虽然这类科幻场景已经成为文化符号，但它们通常不会在学术、科学和政治辩论中被严肃对待。这也是可以理解的，因为科幻作品一般会作这样的假设：人工智能构成对人类的重大威胁之前，它必须跃过两个重要的里程碑——
首先，人工智能必须变得有知觉，发展出意识、感觉和情感，否则它为什么想要接管世界；其次，人工智能必须适应在物理世界中给自己定位，机器人必须能够像人一样高效地在房屋、城市、山脉和森林中移动和运转，如果他们无法在物理世界中移动，那怎么可能接管这个世界？
在2023年4月之前，人工智能似乎还远远没有到达这两个里程碑，尽管人们围绕ChatGPT和其他新的人工智能工具进行了大肆宣传，但没有证据表明这些工具有一丝意识、感觉或情感。至于在物理世界中活动，虽然自动驾驶技术一直算热门话题，但汽车主宰人类道路的时间仍一直在推迟。
然而，坏消息是人工智能要威胁人类文明的生存，并不真正需要意识，也不需要在物理世界中移动的能力。在过去的几年里，新的人工智能工具被运用到公共领域，可能会从一个非常意想不到的方向威胁到人类文明的生存。我们甚至很难理解这些新型人工智能工具的能力，以及它们持续发展的速度。
事实上，因为人工智能能够自我学习并自我改进，即使是这些工具的开发者也不知道他们所创造的东西的全部功能，他们自己也经常对这些工具的新能力和高品质感到惊讶。
我想在座的每个人都已经了解新型人工智能工具一些最基本的能力，像写作、绘画、作曲和编写代码等能力。但还有许多其他功能正在涌现，比如深度伪造人们的声音和图像，起草法案，找出计算机代码、合同和法律文书中的漏洞。但也许最重要的是，新的人工智能工具有能够与人类建立深厚而亲密的关系的能力。
这些能力中的每一项都值得充分讨论，我们很难理解它们的全部含义，所以把这个问题简单化。如果把所有这些能力当作一个整体，就可以总结为一个非常非常大的东西——操纵和生成语言的能力，无论是用文字、图像还是声音。
当前人工智能革命最重要的方面是，人工智能正在以超过人类平均水平的能力掌握语言。通过掌握语言，人工智能正在掌握打开从银行到寺庙等所有机构大门的万能钥匙。因为语言是我们用来向银行发出指令的工具，也是我们头脑中做出重大决定的工具。
从另一个角度来看这个问题，那就是人工智能刚刚入侵了人类文明的操作系统。历史上每一种人类文化的操作系统都是语言，在这个文明世界的开端，我们用语言创造神话和法律，创造神和金钱，创造艺术和科学，创造友谊和国家。
例如，人权不是生物学上的客观事实，它没有刻在我们的DNA中，人权是我们用语言通过讲故事和制定法律创造出来的东西；神也不是生物的或物理上的现实，而是我们人类用语言再通过传说和经文创造出来的；金钱当然也不是物理存在，钞票只不过是一张张毫无价值的纸，而目前世界上90%以上的钱甚至都不是钞票，它只是电脑中传输的电子信息，能赋予金钱各种价值的只有故事。不少银行家、财政部长和加密货币大佬他们并没有创造多少真正有价值的东西，但他们都是极有能力的故事讲述者。
今天，在像国际象棋这样的游戏中，没有人能打败计算机。如果同样的事情发生在我们的政治、经济甚至宗教领域呢？
当人们想到ChatGPT和其他新的人工智能工具时，经常会被这类例子吸引，比如孩子们使用ChatGPT写论文。一旦孩子们用ChatGPT写论文，学校系统将会发生什么？太可怕了。
但这类问题忽略了大局，姑且放下学校的论文吧，比如说，我们应该谈论2024年的下一届美国总统大选，尝试着想象新的人工智能工具可以带来的影响，这些工具可以为某种新的邪教利用，大规模制造政治宣言、假新闻故事和这一教派自己的圣经。未来，我们可能会看到历史上第一个由非人类智能创作圣经的宗教。
当然，历史上的宗教都声称他们的圣经是由非人类智慧创作的，这在此之前是不可能的，但很快就会成为现实，并影响深远。
现在，在一个更平淡的层面上，我们可能很快就会发现和自己在网上长时间讨论堕胎、气候变化或俄乌冲突的人——你以为是人类同胞，实际上是人工智能机器人。
问题是，我们浪费时间试图说服人工智能机器人改变其政治观点是毫无意义的，但我们与它交谈的时间越长，它就越了解我们，了解如何磨练它的信息，以改变我们的政治观点、经济观点或其他任何东西。
通过对语言的掌握，人工智能也可以与人建立亲密关系，并利用亲密的力量来影响我们的观点。
正如我所说，没有迹象表明人工智能有任何意识或自己的感情，但为了与人类建立虚假的亲密关系，人工智能不需要自己的感情，它只需要能够激发我们的感情，让我们对它产生依恋。
2022年6月，谷歌工程师布莱克·莱莫因（Blake Lemoine）公开声称，他正在研究的人工智能聊天机器人LaMDA已经有了感知能力。这件事最有趣的不是莱莫因的说法，他的说法很可能是错的，他最终也失去了工作。真正有趣的是，他愿意冒着失去高薪工作的风险去保护这个人工智能聊天机器人。
如果人工智能可以影响人们去冒失去工作的风险，它还能诱使我们做什么呢？
在每一场心灵和思想的政治斗争中，亲密关系是最有效的武器。人工智能刚刚获得了与数亿人大规模产生亲密关系的能力。
你们可能都知道，在过去的十年里，社交媒体已经成为控制人类注意力的战场。现在，随着新一代人工智能的出现，战场正从注意力转向亲密关系，这是一个非常坏的消息。
当人工智能为了与我们建立亲密关系而战斗时，人类社会和人类心理会发生什么变化？这些关系也可以用来说服我们购买特定的产品或投票给特定的政治人物。
即使没有制造虚假的亲密关系，新的人工智能工具将对人类的观点和世界观产生剧烈的影响，并且成为人类需要的所有信息的来源。
当可以让人工智能告诉我任何想要的东西时，为什么还要自己搜索？当可以让人工智能告诉我有什么新闻时，为什么还要读报纸？当我可以让人工智能告诉我该买什么的时候，广告的意义和目的又是什么呢？
很有可能在很短的时间内，整个新闻广告行业将崩溃，而人工智能或控制人工智能的人和公司将变得非常非常强大。
我们可能谈论的是人类历史的终结，但这并不是历史的终结而只是人类统治时代的终结。
当人工智能接管文化时，历史进程会发生什么？几年之内，人工智能可以消化掉整个人类文化，消化掉那些我们几千年来创造出来的所有东西，并开始产出大量新的文化创作、新的文化产物。
记住，我们人类从来没有真正直接接触过现实。我们总是被文化所束缚，我们总是通过文化的牢笼来体验现实。我们的政治观点受到记者的报道和朋友的故事的影响，我们的性取向受到电影和童话的影响，甚至我们走路和呼吸的方式也受到文化传统的影响。
在此之前，这个文化茧房总是由其他人编织而成。以前的工具，如印刷机、收音机或电视，它们有助于传播人类的文化思想和创造，但它们永远无法自己创造出新的东西。印刷机不能出一本新书，这是由人来完成的。
人工智能从根本上不同于印刷工艺，不同于无线电，不同于历史上的任何一项发明，因为它可以创造全新的想法，可以创造一种新的文化。
在最初的几年里，人工智能可能会在很大程度上模仿初期“哺育”它的人类原型，但随着时间的推移，人工智能文化将大胆地走向人类从未涉足的领域。
几千年来，我们人类基本上生活在他人的梦想和幻想中。我们崇拜神灵，我们追求美的理想，我们把自己的生命奉献给源于某些人类诗人、先知或政治家想象的事业。很快，我们可能会发现自己生活在人工智能的梦想和幻想中。
如何处理这种潜在的危险与科幻作品的想象非常不同。此前，人们主要担心的是智能机器带来的人身威胁，所以在《终结者》中机器人在街上奔跑，射杀人类；《黑客帝国》则假设要想完全控制人类社会，人工智能首先需要控制人类的大脑，并将大脑直接连接到计算机网络，但这是错误的。
只要掌握了人类语言，人工智能就能在一个像矩阵一样的幻想世界中生存。真的不需要为了控制和操纵人类而在他们的大脑中植入芯片，几千年来，先知、诗人和政治家们一直使用语言和讲故事来控制、操纵人类，重塑社会，现在人工智能很可能就能做到这一点。
它不需要让杀人机器人来射杀我们，如果真的需要，它完全可以让人类自己来扣动扳机。
现今这种对人工智能的恐惧只困扰着最近数代人类，从20世纪中叶倒回到弗兰肯斯坦这一形象出现的时代，差不多有200年的时间。但几千年来，人类一直被一种更深层次的恐惧所困扰。人类一直很重视故事、图像和语言的力量，它们可以操纵人类的思想，创造幻觉。
因此，自古以来，人类就害怕被困在幻想的世界里。17世纪，笛卡尔害怕恶魔把他困在各种各样的幻觉中，制造了他所看到和听到的一切；在古希腊，柏拉图讲过一个著名的“洞穴寓言”，一群人被锁在一个洞穴里，面对着一堵空白的墙，他们看到投射在墙面上的各种阴影，并把这些阴影误认为是现实；在古印度，佛教和印度教认为，人类生活在他们称之为“玛雅”的地方——玛雅是一个充满幻想的世界。
佛陀说，我们通常认为是现实的东西，往往只是我们自己心中的虚构。
人们可能会发动全面战争，杀死别人，甚至愿意杀死自己，因为他们相信这些虚构的东西，所以人工智能革命让我们与纸牌恶魔、柏拉图的洞穴还有玛雅面对面，如果不小心，幻觉的帷幕可能会笼罩整个人类，我们将永远无法撕开那块帷幕，甚至无法意识到它的存在，因为我们认为这就是现实。
如果这听起来有些牵强，那看看过去几年的社交媒体。社交媒体让我们对未来的事物有了一点了解，在社交媒体中，原始的人工智能工具，并不是用来创造内容的。内容创作是由人类创造故事和视频等，而人工智能选择哪些故事和视频会进入我们的视线——那些最受关注的、最具病毒性传播的内容。
虽然这些人工智能工具非常原始，但它们已经足以制造出了一层幻觉的帷幕，加剧了社会两极分化，损害了我们的心理健康，破坏了民主的稳定。成千上万的人把这些幻觉误认为是现实。
美国拥有强大的信息技术，但美国公民却无法就谁赢得了上次选举、气候变化是否真的发生、疫苗是否能预防疾病达成一致。新的人工智能工具比这些社交媒体算法强大得多，可能造成更大的破坏。
当然，人工智能有巨大的积极潜力。我不谈论它，因为开发人工智能的人自然会谈论它，我需要补充下，像我这样的历史学家和哲学家的工作经常是指出危险。
当然，人工智能可以在无数方面帮助我们，从寻找治疗癌症的新方法到发现我们所面临的生态危机的解决方案。
为了确保新的人工智能工具被用来做好事，而非做坏事，首先需要了解它真正的能力，需要非常仔细地监管它们。
自1945年以来，我们知道核技术可以物理破坏人类文明，也可以通过生产廉价而丰富的能源使人类受益。因此，我们重塑了整个国际秩序，以保护自己，并确保核技术主要用于正义。
我们现在必须与一种新的大规模杀伤性武器作斗争，这种武器可以消灭我们的精神和社会世界。核武器和人工智能最大的区别是，核武器不能制造更强大的核武器。但人工智能可以产生更强大的人工智能，所以我们需要在人工智能失去控制之前迅速采取行动。
同样，政府必须立即禁止在确认其安全之前将任何更具革命性的人工智能工具发布到公共领域。
我再次强调，我不是在谈论停止人工智能的研究。第一步是停止向公众发布，你可以研究病毒而不向公众发布，你可以研究人工智能，但不要过快地向公众发布。如果不放慢人工智能竞赛的速度，我们甚至没有时间去了解正在发生的事情，更不用说有效地监管这项令人难以置信的强大技术了。
你可能会问，放慢人工智能的公共部署，难道不会导致民主落后于更无情的专制政权吗？绝对不是，且正好相反。不受管制的人工智能部署将导致民主国家输给独裁政权，因为如果我们释放混乱，威权政权比开放社会更容易遏制混乱。
民主本质上是一种公开的对话，对话依赖于语言，当人工智能拥有语言时，这意味着它可能摧毁我们进行有意义的公共对话的能力，从而摧毁民主。
如果我们坐等混乱发生，那么用民主的方式来管理它就太晚了。如果没有及时监管人工智能，我们将无法再进行有意义的公开对话。
综上所述，我们基本上是在地球上遇到了外星智能，而不是在外太空。我们对它们所知甚少，只知道可能摧毁我们的文明。
因此，应该正视这种不负责任地将它们部署到我们的社会中的举措，并在人工智能控制我们之前对其进行监管。
我们可以提出许多管理措施，但是我的首要建议是强制人工智能披露自己是人工智能，如果我和某人交谈，我不知道这是一个人还是一个人工智能，这就是民主的终结，因为这意味着有意义的公共对话的终结。
大家对刚才听到的演讲有什么看法？我想你们中的一些人可能会有所警觉，一些人可能会对开发这些技术的公司或未能监管这些技术的政府感到愤怒。还有些人可能会生我的气，认为我是在夸大威胁或误导公众。
但不管你怎么想，我敢打赌我的话对你产生了一些情感上的影响而不仅仅是智力上的影响。我刚刚给你讲了一个故事，这个故事可能会改变你对事物的看法，甚至可能导致你采取某些行动。
你刚刚听到的演讲故事是谁创造的呢？我向大家保证，尽管使用的图像是在人工智能的帮助下创建的，但这个演讲的文本是我在几个人的帮助下自己完成的，至少你听到的这些话是人类思想的文化产物，是几个人类思想的产物，但你能绝对肯定吗？
一年前，在公共领域，除了人类的思想，地球上没有任何东西可以创造这样一个复杂而有力的文本。但现在情况不同了，你听到的文本可能是由非人类的智能产生的。
所以花一点时间或者更多的时间来思考这个问题吧，谢谢！
