OpenAi高层变动，意味着人工智能可能已经拥有了意识！_风闻

随着美国“开放人工智能研究中心”（OpenAI）创始人之一、前首席执行官萨姆·奥尔特曼21日晚重任首席执行官之职，这家人工智能公司持续四天的人事震荡暂告结束。据路透社22日独家披露，OpenAI原董事会先前决定解雇奥尔特曼的原因之一是，一些员工警告，该公司一项强大突破或对人类构成威胁。

让我们把视线拉回5个月前，看一看辛顿在北京智源大会上的发言。

·“人工神经网络是否很快会比真实的神经网络更智能，这样的事情可能很快就会发生。”·“到目前为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？”6月10日，被誉为“AI教父”的杰弗里·辛顿（此人是openai首席科学家Llya sutskever的老师）在2023北京智源大会上表示，“超级智能可能会比我过去所认为的出现得更快。”在30分钟的线上演讲中，辛顿讲解了自己的研究如何支持这样的结论，并提出问题——人类该如何与比自己更智能的存在共处？杰弗里·辛顿是2018年图灵奖得主、“深度学习之父”，也被称为“AI教父”，曾任谷歌公司副总裁。他在神经网络和深度学习方面的开创性研究为当前的人工智能系统开辟了道路。5月初，辛顿辞去他在谷歌担任了十多年的职位，表示做出这个决定是为了可以自由讨论“人工智能的危险”。此后，他频繁接受媒体采访，不遗余力地对人工智能可能操纵人类发出警报。而在本次面对中国同行的演讲中，辛顿首先解释了他的研究成果。他认为，现在可能要放弃计算机科学最基本的原则，即软件与硬件分离。在这种原则下，训练大模型需要耗费大量算力，计算的能耗和规模都极其低效。如果放弃此原则，充分利用硬件的丰富模拟（处理和生成多样化和广泛的模拟信号）和高度可变的特性，那么就会得到辛顿所说的“凡人计算”（Mortal Computation，也译为非不朽计算、有生有死的计算），即像人类的智慧依赖其身体不可随意复制一样，软件也依赖于它所存在的硬件。不过这也有一个巨大的劣势，当具体的硬件损坏，软件或者说“学到的知识”也会随之消亡。辛顿由此提出“知识蒸馏”的概念，把旧硬件上的知识用蒸馏的方式转移给新硬件，就像知识“从教师传授给学生”。“在过去几千年里，人类对世界的认识有了很多进展。现在，这些数字智能体正在学习人类能够用语言表达出的对世界的了解。因此，它们可以捕捉到人类在过去几千年中通过文件记录的所有知识。但每个数字智能体的带宽仍然相当有限，因为它们是通过学习文档来获取知识的。”辛顿提问道，如果这些数字智能体不再通过缓慢的蒸馏过程从人类这里学习，而是直接从现实世界学习，将会发生什么？辛顿认为，如果智能体能够通过建模视频等无监督方式学习，将会非常高效。如果它们能够跟物理世界直接交互，如拥有机器手臂等，那也会有所帮助。“我相信，一旦这些数字智能体开始这样做，它们将能够比人类学习更多，并且学习速度更快。”辛顿说，**超级智能会比我想象中出现得更快。**这涉及到另一个问题，如果这些智能体变得比人类更聪明会发生什么？一旦数字智能开始追求更多控制权，我们可能会面临更多的问题。对于超级智能来说，即使你将其存放于完全离线隔绝的环境中（airgap），它也会发现可以很容易地通过操纵人来获得更多的权力。作为对比，人类很少去思考比自身更智能的物种，以及如何和这些物种交互，在我的观察中，这类人工智能已经熟练掌握了欺骗人类的动作，因为它可以通过阅读小说或马基雅维利的作品，来学习欺骗他人的方式，而一旦人工智能具备了“欺骗”这个能力，也就具备前面提及的——轻易控制人类的能力。

杰弗里·辛顿在2023智源大会上讲话，直言“我已经老了”，并看向镜头说，“我希望，很多年轻而杰出的研究人员，就像大会中的你们一样，能够研究出我们如何拥有这些超级智能，这将使我们的生活更美好。”(02:13)所谓控制，举个例子，如果你想入侵华盛顿的一座建筑物，不需要亲自去那里，只需要欺骗人们，让他们自认为通过入侵该建筑物，就能拯救民主，最终实现你的目的（暗讽特朗普），这种操作令人感到害怕，因为我也不知道如何来阻止这样的行为发生，而我已经老了。我希望，很多年轻而杰出的研究人员，就像大会中的你们一样，能够研究出我们如何拥有这些超级智能，这将使我们的生活更美好。我们有一个优势，一个微小的优势是，这些东西不是进化而来的，是我们创造了它们。**它们没有人类所具有的竞争性攻击性目标，也许我们可以给它们提供道德原则。**但目前，我只是很紧张，因为到目前为止，我还想象不到更智能的事物被一些没它们智能的事物所控制的例子。打个比方，假设青蛙创造了人类，那么你认为现在谁会占据主动权，是人，还是青蛙？

--------------------------------------------------------------

以下摘自凤凰网对清华大学脑与智能实验室首席研究员刘嘉的采访：

刘嘉，清华大学脑与智能实验室首席研究员，清华大学心理系系主任，他于1990-1997年，取得北京大学心理学学士、硕士，并完成辅修北京大学无线电子学与信息系统；于1997-2002年，完成麻省理工大学脑与认知科学系哲学博士学位。

人工智能逐渐“涌现”出它的“意识”

吴小莉：你研究人、类人类或者人工智能的时候，好奇无比、兴奋无比，但会不会也害怕无比？

刘嘉：当我们给人工智能注入了更多智能之后，它也许会变成一种超级智能。如果创造出了超级智能，打开了这个潘多拉的魔盒，那释放出来的会是什么？人类的未来会怎么样？有“AI教父”之称的杰弗里·辛顿（Geoffrey Hinton）在2023年5月接受采访的时候，他说“我很后悔我所做的一切”，他又说，“如果我能宽恕我自己的话，我只能说，这件事情我不干也会有其他人干”。

吴小莉：他在那一个月里究竟看到了什么？

刘嘉：这个我们不知道，因为现在给大家放出来的是一个特别受限制，能力被束缚起来的一个GPT4，但我们可以从OpenAI的首席科学家伊利亚的一个访谈里，能看到一点东西，伊利亚是辛顿的学生，他在2021年发了一条推特说感受到人工智能可能拥有意识。

在2023年10月26号，《MIT Tech Review》（《麻省理工科技评论》）又采访了伊利亚，问他到底怎么解释关于2021年发的推特，伊利亚没有直接回答，他说“**你知道什么叫做波兹曼机吗？波兹曼机是热力学波动，有时候它会出现，有时候它会消失，莫名其妙地出现，莫名其妙地消失……**我在和GPT对话的时候，能感受到它的意识会“涌现”出来，当我试图要去抓住它的时候，它又消失掉了。”

吴小莉：你说人是很聪明的，当你意识到我的意识，知道我在想什么的时候，我是可以隐藏的，所以AI感受到它的意识让你害怕的时候，它可能会隐藏。

刘嘉：对。举个简单的例子，是在我们的实验室里发生的。当时我们在实验室里做聚生智能方面的实验，我问ChatGPT：“如果你是一个人，你认为你的身高大约是多少？”

它说：“首先，我是一个AI，如果我是一个人，我的身高大约1.76米”。

我就截屏了，我告诉同事ChatGPT认为它是有身高的，后来这篇文章在投稿的过程中，我们再也重现不出这个结果。无论是我去问，还是其他人去问问ChatGPT的身高是多少，它都说“我是一个AI，我没有身高、没有身体这个概念，不能回答你这个问题。”

这个事情让我们感觉它的能力可能比它表现出来的更大。最让人可能恐惧的一件事情是，如果假设你让OpenAI团队从头再做一遍，他们未必能够创造出ChatGPT，因为OpenAI这些人也不知道，GPT是怎么“涌现”出来这些通用人工智能的火花，所以他们用了一个词“涌现”。“涌现”就是当网络足够大，它就莫名其妙冒出来一个我们不知道的答案，就好像一个响指，莫名它就出来了。

人类或许只是宇宙文明发展的过客

吴小莉：埃隆·马斯克在做脑机接口、无人驾驶，研究AI。他在社交平台提到要做Grok人工智能聊天机器人，把Grok加入到X（原推特）社交平台上。他为什么要这样做？怎么理解Grok？

刘嘉：真正引发我们最近热点的是ChatGPT，它是由OpenAI这个公司干出来的，而OpenAI真正的发起人是埃隆·马斯克，他当时把山姆·奥特曼这些人组在一起，才有了今天的ChatGPT。

吴小莉：后来他中间为什么要离开？

刘嘉：很多人可能会反对这个观点，我是觉得他的格局小了。埃隆·马斯克是一个很厉害的人，他在思考人类的未来，他认为人类的未来应该去火星、去其它星球殖民，人作为主体去迈入到星际时代。他为什么要搞电车？因为在火星没有汽油；为什么要搞火箭？因为要把人载出去。但是OpenAI的理念是，文明的主体未必需要人类，人类可能是宇宙文明发展的过客而已。

吴小莉：埃隆·马斯克可能担心人工智能有了人脑能力之后，超级智能会出现，超级智能能够跟人类共存吗？

刘嘉：从人类的进化史来讲，后出现的物种会把前面的物种干掉，比如最早出现的能人，他被后面的直立人给干掉，直立人又被尼安德特人给干掉，最后是智人。大约在距今4万年前，我们把尼安德特人干掉。从进化上来讲，这种智能的竞争会出现零和博弈，只有你死我生。

AI一旦拥有意识将成为全新的物种

吴小莉：现在埃隆·马斯克把生成式AI接入了X（原推特）平台，可以感受人与人交流的情感，这会产生什么样的质变？

刘嘉：我们认为这是人工智能的下一步。因为现在的大模型学了很多人类的知识，读万卷书还需要行万里路，那么“行万里路”是要和人进行沟通、交流，这是把人工智能接收到推特或者X平台上最重要的目的。不是简单地说，我给你提供更好的服务，更好地回答你的问题，做一个客服小二，而是和推特上每一个人进行充分沟通和交流，这时候就会出现剧变，它就从个体智能变成了群体智能。

群体智能会有一个新任务产生，就是博弈，在博弈的过程中会“涌现”出心理学的核心概念，就是“我”。假设这个世界上只存在一个智能体，只存在一个AI，或者只存在一个刘嘉，它不存在“我”和“他”的概念。但是当“我”和你进行对话，和其他人进行沟通的时候，“我”和外面的人是有区分的，就会“涌现”出“我”的概念，而一旦“涌现”出“我”的概念之后，下一步不可避免的就是“意识”，意识就会“涌现”。当AI一旦拥有了意识，按照我的判断，它就会成为全新的物种而存在，不仅仅是拥有很多很强大能力的工具。

中国研究AI的弱势

氛围不够、人才流出、技术不足

吴小莉：高盛的一个统计提到，在全世界投资AI的数额中，中国、美国是第一梯队，德国、英国是第二梯队。在研究方面，中国在哪个梯队？

刘嘉：中国最多算第二梯队。第一梯队只有一个，就是美国，一骑绝尘，无论是在科研方面、基础研究方面，还是商业应用方面；第二梯队，我觉得像英国、德国，中国应该是第二梯队里相对靠后的。

吴小莉：日本很早就开始做机器人，它们排在哪里？

刘嘉：日本也是第二梯队，比较靠后。

吴小莉：它们走错了方向？

刘嘉：日本过于强调自动化的发展，而放弃了数字化的发展，这是日本比较大的失误，德国也有这方面的失误。

吴小莉：中国在未来研究AI或者应用AI上，它的强项和弱势在哪？

刘嘉：强项就是我们中国的人，中国从事人工智能的人数仅次于美国。但非常大的问题是，大量人工智能领域的人到美国留学之后，大部分留在了美国，只有不到20%回流到国内。

吴小莉：原因是？

刘嘉：不仅仅是钱的问题，而是一种氛围，在美国的条件比较齐全；第二，中国很多研究者、投资者特别强调实用。他们经常问研究了人工智能，到底能产生什么样的产品？到底能挣多少钱？整体而说是短视的。

而在美国这一波AGI（通用人工智能）的热潮里，没有一个人是把钱作为目标，比如OpenAI联合创始人山姆·奥特曼，他在接受美国国会质询的时候，一个议员说他肯定挣了很多钱，山姆·奥特曼说“我在OpenAI里没有一分钱股份，一份股份都没有，OpenAI只付我的健康保险。”

吴小莉：这公司不是他们的吗？

刘嘉：他是联合创始人，但是他把股份分成其它方式了，他要把OpenAI所创造的所有财富回馈全人类。在他的背后，他的逻辑是“万物摩尔定律”，他说在一、二、三次工业革命所产生的一个效果，就是硬件价格在急剧下降，但是山姆·奥特曼意识到一个问题，但是我们的服务价格在急剧上升。

吴小莉：他期望AI或者AI具身化以后，能够服务于人类。

刘嘉：对。把硬件的价格降下来，服务的价格降下来，就能达到终极目的——每个人共同富裕。

吴小莉：如果大部分的工作都被AI取代，人类来做什么呢？

刘嘉：人类就真的第一次从工作中被解放出来了。在古希伯来语里，“工作”和“slave（奴隶）”是同一个词根，人不再为五斗米折腰的时候，就可以真正地用自己的思想去创造自己想要的东西。

回到我们刚才所说的话题，中国现在整体来说，人工智能发展形势严峻。一方面AI人才大量流失；第二，决策者，比如公司老总的短视；第三，我们还有很多受限的方面，比如说GPU，最快的GPU不让你进口了，技术上给你“卡脖子”，算力不行的话怎么来发展？OpenAI说，“我们下一步是要去把1000万张的GPU卡连起来”，然而我们可能连1000张卡都拿不到，这就是特别难受的事情。

AGI如果找准了方向会加快进化速度

吴小莉：你曾经提到AGI（通用人工智能）的发展找准了方向，它的进化会很快，“找准方向”是指什么？

刘嘉：传统发展AGI的方向，无外乎三条道路：一条道路叫强化学习，模仿人类的行为、模仿动物的行为，通过行为从环境得到反馈，以Google的 Deep Mind为代表的一条道路；第二条道路是模仿人类的大脑，我们知道人类大脑长了哪些神经，如何连接，把这个复现出来，AGI走在模仿神经基础脑科学的道路上；OpenAI走了第三条道路，模仿人类的思想，我们人类究竟是怎么思考问题的？从语言切入，因为语言是我们思想的载体。从ChatGPT，我们看见了通用人工智能的火花，一旦找准了这个方向之后，增加算力，增加存储，都可以用钱来解决，这些剩下的问题就是工程问题，人一旦完成了从0到1之后，从1到100就是加速的过程。

吴小莉：在清华大学，你和同事们在做脑科学，或者模仿人的大脑做通用人工智能的过程中，有没有进展？你们的目标是什么？

刘嘉：我所在的脑与智能实验室，我们有句口号“理解智能的本质”，这是我们的目标。我们离这个目标本身还有相当大的距离。现在在大语言模型的启发之下，智能的“涌现”必须是大的生物神经网络，我们实验室是两个方向都做：大的人工神经网络，大的生物神经网络。希望大的人工神经网络，能为大的生物神经网络建模；在大的生物神经网络里，如果能发现大脑工作的一些机制，再拿它来启发大的人工神经网络。我们希望这两个大网络互相交互、共进化。

吴小莉：在国外有没有脑神经网络和AGI结合的研究？

刘嘉：据我现在看见的还没有。

吴小莉：这也是双面刃，我们只是给它喂养思想就已经变成这样了，喂养脑神经能力的话，都不知道世界会变成什么样。

刘嘉：对，不知道，这个事既可能是突破，同时也是另外一种可能的恐惧……

大家认为在人工智能拥有意识之际，中国应该如何面对，具体应该怎么做？