赵汀阳：GPT在哪些问题上逼得思想无路可走？｜热点_风闻

编者按

3月14日，OpenAI为聊天机器人ChatGPT发布了GPT-4语言模型,GPT-4回答的准确性不仅大幅提高，在一定程度上克服了前代机“一本正经的胡说八道”的问题，其还具备更高水平的识图能力，且能够生成歌词、创意文本，实现风格变化。此外，GPT-4的文字输入限制也提升至2.5万字，且对于英语以外的语种支持有更多优化。GPT-4发布后，将ChatGPT引发的讨论再度推向高潮，人工智能技术的潜力和发展速度令专业人士和公众都感到震惊，对于GPT-4的褒奖如潮水般涌来。不过也有科技媒体通过对GPT-4的模型进行测试理性地指出，GPT-4 让 ChatGPT 更加智能，但是也没有修复一直以来的缺陷：明显的社会偏见、以及在某些提示下行为不端或者扮演了令人不安的角色等。

当下，对于以GPT-4为代表的新一代人工智能技术的争议还在继续，而其引发争议的深层次原因在于，GPT进入了语言领域，而语言是人类的本质，这就切中了人类主体性的要害，也就需要我们从真正的哲学层面（意识、主体性）进行追问。本文指出，目前的人工智能仍然属于图灵机，其采取经验主义和进化论原则。GPT是图灵机的升级版（很快还会有更高级的），其思维方式已经从机械主义切换为经验主义和进化论。从根本上说，人工智能突破奇点需要获得自我意识、反思性、创造性。也就是说，必须能够建构自己的语言，把“数据作业”转变为“思想作业”——未必需要先天语法，但需要先验的逻辑。尽管目前人工智能尚未突破奇点，但技术文明的发展水平远远超过制度文明的发展水平，未来必将划时代地全面改变世界。人类需要一个“新启蒙运动”来应对新技术提出的问题。本公众号特推出此文，供读者思考。仅代表作者观点，不代表本公众号立场。

**GPT在哪些问题上逼得思想无路可走？**赵汀阳｜中国社会科学院哲学研究所研究员、中国社会科学院大学哲学院教授

本文将刊载于《探索与争鸣》2023年第3期

原题《GPT推进哲学问题了吗？》

具体内容以正刊为准

非经注明，文中图片均来自网络

赵汀阳教授

题目的提问明显是一个后续问题，接续的是若干年前我在另一篇文章的提问“人工智能提出了什么哲学问题”。那篇文章涉及的背景事件是“阿尔法狗系列”，在此无需复述。这个后续问题的背景事件是“GPT系列”（此刻已经由ChatGPT升级到GPT-4）。如同阿尔法狗事件，ChatGPT引起世界轰动，而“更能干”的GPT-4更是引爆全网，一时间颂词滚滚。不过，此类在背后有着“无限商机”的商业化或传媒化轰动几乎都言过其实。不实之词往往很成功，比不实之词更受欢迎的是完全不实的谣言。然而，GPT系列获得的颂词可不是谣言，虽然有些言过其实，但它的确有真本事，而且潜力很大，可以想象其后续迭代更可能有惊人之举。在技术上，GPT系列确实推进了人工智能的神奇应用，但这并非对思维的实质推进，仍与阿尔法狗同属一个技术级别，是这个技术级别里的高水平应用，简单地说，GPT很杰出，但尚未形成人工智能的技术代差。GPT系列的厉害之处在于进入了语言领域，而语言是人类的本质，这就切中了人类主体性的要害，问题就严重了。那么，GPT系列人工智能推进哲学问题了吗？

首先是何种意义上的哲学

这里的讨论首先排除对人工智能进行人文主义批判或伦理批判，这种“哲学”不属于这里考虑的哲学概念。价值批判只是表态，未进入实质问题，属于日常价值判断，严格地说不属于哲学。凡是相当于“我认为这是好的”句型的意见都不是哲学。人工智能势不可挡，注定是人类的未来。对人工智能的人文主义或伦理批判只能说明哲学傻了眼，文不对题，没有能够回答人工智能提出的实质问题，比如对意识、主体性、智能等概念的挑战。

就哲学的不可替代的思想功能而言，哲学研究任何思想“界限”问题，例如知识的基本假设、思维的基本设置、价值的最终根据之类，而对思想界限的研究必定形成思想的自反性或自相关性（reflexivity or self-reference）而达到反思的极限。除了对思想边界进行极限反思，哲学的其他功能都是可替代的，实际上其已经被科学和社会科学所替代。思想的极限边界意味着思想走不出去了，只能自我说明。正如维特根斯坦指出的，哲学问题的一般句型相当于：我不知道怎么走了。这不是迷路，而是没有路了，到头了，思想没有更多的理由了，于是回到了思想的初始状态。本真的哲学就是思想迫使自身回到思想的初始状态，对思想进行再创造。不在思想初始状态上工作的是史学，不是哲学。那么，这里的问题是，人工智能在哪些问题上迫使思想回到了初始状态？逼得思想无路可走？

图灵机人工智能的能力界限

当前的人工智能仍然属于图灵机，包括近来出现的GPT系列。图灵机人工智能的能力成分可以大致分析为如下方面。

（1）物理能力。计算机的速度超过人无数倍，而且可以不休息，在高速度下，最简单的技术也有难以置信的高效能力，所谓“唯快不破”。可以预料，在不远的将来，各种类型的图灵机可以联合起来形成大系统，就像人类形成一个大集体，以万众一心的方式联合作业，很可能会形成类似“全知全能”的上帝的效果，那么，机器人就成为通用人工智能（AGI）。我相信这是一个合理推测，就是说，制造类似个体人那样的个体化通用人工智能不太现实，属于科幻片的拟人化想象，比较合理的想象是，那些貌似个体的通用人工智能是联合作业的，实际上属于一个系统，因此，通用人工智能最可能是“系统人”而不是“独立人”。

（2）来自人类的设计能力。这意味着，任何图灵机的设计能力都不超过人的能力，只能小于或等于人类思维能力，类似于某种速度无限逼近光速。需要指出的是，人工智能的“心灵”可以与人相似但不必要与人相似，它完全可以是另一种心灵。当然，由于人的心灵是目前的唯一榜样（外星人还存在于科幻里），模仿人类心灵就是现成路径，但事实证明，逼真模仿人的心灵其实最难。人的心灵像是“上帝”的作品，要模仿人类心灵就需要破解“上帝”的智能，这似乎超越了人目前的智能。有趣的事实是，计算机的主流设计从来就不是对人类心灵结构的复制性模仿，而是有用性的功能模仿，以及对相关功能的原理模仿。莱布尼兹为计算机设想的二进制逻辑—数学表达就已经确定了功能—原理模仿的进路。二进制数学对于人的心灵显然不方便，绝非人的自然选择（多数人类根据手指自然地选中了十进制，也有十二进制之类，不知什么理由，但据说以数学观点看，七进制的功能最优）。然而对于机械运算而言，二进制却是最优，而且就产出有效结果而言，其思维“功能”或“原理”相等。可见，功能才是要点。人工智能的运算方式虽与人有所不同，但也是人设计出来的，仍然是人类智能的一种可能性，相当于人类智能里的一个可能世界。因此，人工智能的“不同算法”无需惊讶，类似于人类发明轮子的时候并不是模仿走路，而是为了实现搬运的功能，事实上，所有机器都是实现人想要的功能而不是模仿人的自然所是。总之，图灵机人工智能的设计能力属于并且不超过人类智能，尽管在物理速度的加持下显示出超人能力。

（3）人工智能的惊人知识量来自人的大量“喂食”和人工智能无穷迭代的自我训练和互动学习形成的进化。通过被输入知识，加上从互联网获取资料，人工智能会获得人所不及的巨大数据，在理论容量上可以获得人类全部知识，再加上与人类互动学习，人工智能将来一定会近乎“全知”——但全能要难得多，因为全能涉及更复杂的神经网络，即使保洁员的简单劳动也需要无比复杂的神经网络设计，所以，通用人工智能尚需时日。“全能”的智能复杂度远高于“全知”，这或暗示着某个深刻的智能问题，还不能判断是什么样的问题，但似乎提示了，收集一切知识的博学和无漏记忆的“活字典”能力并不需要高智能，也不意味着高智能。真正的高智能或许是量子式的能力，是反思能力以及传说中的“统觉”能力。这可能要等待量子计算机去证明了。

以上综合能力已经足以使人工智能形成惊人能力，但终究没有而且远远没有把人的全部思维尤其是高级思维能力翻译为机器思维。这里的障碍是一个尚未解决的知识论问题，即人类思维对于人类自身也不完全透明，我们并不完全理解人类的思维。人类思维有一部分仍然是黑箱，尤其是创造性思维，即从0到1的创造方式是目前无法解释的。创造性的秘密还无法还原为心理学、生物学和神经学的理论，所以目前没有理论能够解释，换句话说，创造性至今没有翻译方式，我们甚至不可能教给另一个人如何进行创造性思维，更别提教给人工智能。

目前人工智能的貌似创造性思维是假的，无非是心理学水平的联想和组合，并非从0到1的创作；人类思维的另一部分属于公开程序，即知识的生产程序，基本上都可以还原为函数关系。从理论上说，知识生产程序可以喂给人工智能，但也没有想象的那么容易。程序输入相对容易，但移植知识的意义却不容易。知识是一个解释和自解释系统，要真正理解一种知识，就需要理解知识的系统和结构，这意味着，良好地理解一种知识的意义就需要配备一个良好的解释系统。可是，人类的知识解释系统并不完善，存在着许多直观或默会的理解。就是说，人类思维方式存在着许多难以解释或难以证明的概念、假设和意义，有着作为思想底层结构的形而上学，因此不能完全程序化，也就很难喂给人工智能所有的知识生产系统——但喂食某些知识系统，例如“足够清楚的”数学系统则是可能的。

吊诡的是，人类生产知识的能力超过反思知识的能力，两种能力并不对称，这是一件有些神秘的事情。就目前比较明确的反思来看，知识生产的主要方法是还原法，还原即简化，把难以理解的复杂性化简为心灵一目了然的简单关系，或者说以“清楚明白”的事情去解释混沌不清的事情。笛卡尔想象的“清楚明白”大致相当于在数学和逻辑上能够理解的命题。还原以最简单的方式显示了思维的两个底层原理：其一是经验性的相关性，典型地表达为函数关系，其最简单的形式就是逻辑和（x∧y）与逻辑并（x∨y），简化到这个层次的基本命题，任何智能都可直接理解，没有更基本的命题了；其二是形式的分析性，最简单的形式就是基于实质蕴含即真值蕴含（x→y）的逻辑和数学推论。这也是最基本的命题，没有更基本的了，任何智能可直接理解。即使亚里士多德的古老逻辑或毕达哥拉斯和欧几里德的初步数学推理也不是很简单的，而是比较“高级了”，已经包含许多不彻底甚至不清楚的“自明”假设、概括性概念和一般化原则，还有一些需要经验背景的内容，并不是机器能够直接理解的。当然，可以把所有数学系统都喂给机器，然后机器照章办事地假装懂。这个“假装懂”的有趣问题稍后再讨论。

还原论的思想目标是发现因果性和必然性。这两个概念貌似简单，其实非常复杂，并非自然直观，而是形而上学假设，是人的发明，自然并没有给与我们因果性和必然性的概念，或者说，自然现象里并没有因果性和必然性的直接显现。自然里甚至不存在必然性，只有不确定性和无限复杂性，必然性纯粹是逻辑和数学的发明，并且只存在于封闭而能行的系统里。既然必然性不存在于自然，因果性也随之变得有些可疑了，似乎至多是无限逼近必然关联的极大概率。我还愿意提醒，可能性和概率的概念也都是人的发明，甚至同一律、矛盾律和排中律也是人的发明，这些规律在自然里也是可疑的，也只是存在于思维结构里。可以说，绝大多数概念都是人的发明，而概念就是思想的边界，创造概念就是开拓思想边疆（巴迪欧是这样想的）。于是遇到了一个关键问题：作为人类思想基础的概念都是一般普遍或高度概括的，有着难以切分的丰富意义和整体性，因此无法还原（化简），这意味着还原方法的局限性。人类早就注意到概念或思想甚至自然事物的不可分的整体性，因此在哲学上形成了相对于还原论的整体论，在今天表现为最新的一种综合科学，称为“复杂科学”。比较粗鲁地说，就目前的技术水平而言，人工智能可以进行还原论的思维，但尚无能力建立整体性的思维，因此人工智能尚无思想能力而只有运算能力。

这里的讨论试图说明，我们所知道的思想仅限于人类发明的思想，而且唯此一例，在人工智能得以自己建立主体性思维之前，不存在另一种思想。人工智能的惊人之处在于运算的效率，在工作能量上远超过人（类似核能高于人工能），但人工智能的工作原理或思维能力目前只能无限逼近人却不可能超越人，因为人工智能的思维方式也是人的发明——人为机器专门发明了一种最适合机器的思维，而这种适合机器的思维还不能实现充分思维，即兼备还原论和整体论双重能力的思维，因此还没有思想——充分的思维不一定是人的思维，可以是外星人或人工智能自己发明的思维，只是图灵机人工智能办不到。

人工智能的经验主义和进化论

目前的人工智能都属于图灵机，可是图灵测试却恐怕已经失灵了，这个有趣的事情说明，图灵把测试标准定得太低，难不倒GPT系列人工智能，反倒只能从过于标准化或过于政治正确的回答来推测谁是人工智能——正常人大概不会坚持不懈地说些滴水不漏的政治正确的废话，除非是神经病或人工智能。GPT（包括最新的GPT-4）提出的新问题是，它属于图灵机，却有能力通过图灵测试。“像人而不是人”这个新问题废掉了图灵测试。为什么可以这样？这就需要分析GPT的思维原则。目前的人工智能都采取经验主义和进化论原则，这样的思维水平大致相当于原始人。人工智能的“学习”，主要意思是收集材料和记忆，而其“训练”的主要意思是吃一堑长一智。如此简单听起来令人失望，但加上无敌的运算速度就有神奇效果了。

传统图灵机相当于数学直觉主义的信徒，且称之为“布劳威尔型号”，其知识生产限于能行有限步骤可实现的确定必然结果，就是说，它能够承认的知识是封闭领域里的确定知识。有限步骤无法解决的问题就出事了，比如说让它运算个悖论或者圆周率之类，不知道会死机还是永不停机。这种图灵机只按照给定规则去做作业，显然没有主体性，是工具而不是主体，其思维方式可称为机械主义。GPT是图灵机的升级版（很快还会有更高级的），其思维方式已经从机械主义切换为经验主义和进化论。GPT的思维没有实现封闭化，超越了“布劳威尔型号”，变成了“维特根斯坦2型”（符合后期维特根斯坦哲学），其思维居然有了黑箱，它在建立信息或语言关联时有着语境化的不确定性、灵活性或即兴性，因此形成了思维不完全透明的黑箱效果，即使设计者也不完全知道它是怎么想的，比如说不清楚它在什么时候和为什么会突然“一本正经地胡说八道”。但这种“自主性”可不是主体性，GPT并没有自己的信念和想法。

GPT的思维技艺尚不足以发展出传媒夸大其词的通用人工智能。GPT的大语言模型（LLM）“思维”大概是这样的：首先是获得语言词汇和用法的大数据，然后进行“预训练”，即在语言大数据里去发现统计学意义上的概率性规律或搭配模式，一旦掌握了大量此类统计性的规律，就会以不是人的方式说很像人的话。比如发现you、eat、an和apple这几个词汇大概率相关，就知道可以说出you eat an apple这句话，至于什么意思，人工智能并不懂，只是假装懂，即知道关联性，但不知道关联性背后的思想。这样的预训练是完全经验主义的，类似于原始人在没有先验语法的情况下以完全经验主义的方式发展一种语言——当然其实不如原始人，原始人是真的懂语言的意思的——准确地说是发现了大量高概率的关联。这种所谓的“训练和学习”就是以真实标签代替了人工标签，意味着不需要先天语法的彻底经验主义。有趣的是，乔姆斯基对GPT缺乏先天语法表示了不满。GPT的语言训练—学习几乎完全符合后期维特根斯坦的语言游戏理论。后期维特根斯坦在关于意义的问题上放弃了先验论而采取了经验主义的分析，其中还发展了一种近似于数学直觉主义的理解，所谓“意义在于用法”就是只信任“有限实例”而不是依靠先验普遍原则来理解意义。简单地说，维特根斯坦相信，实例（examples）的有限集合定义了语词和可能语句的意义值域。GPT正是这样做的，可以说，GPT是个维特根斯坦型的经验主义者。

GPT不用概括性的原则，只通过实例集合来形成意义，准确率如此之高，或许维特根斯坦也会为之惊叹。不过，海量训练—学习虽然能够通过实例的增长而实现理解的增长，但永远存在例外，也就难免有时会胡说。那么，假如引进乔姆斯基的先天语法或深层语法，GPT的语言水平会有所提高吗？其实有点疑问，乔姆斯基的先天语法研究并不完善，并不能证明全人类真的有一种通用的先天语法，至少汉语的语法就显示出某些深层的差异（可参考沈家煊先生的理论），可见先天语法还有待研究。可以肯定的是，语言的意义域存在着大量发散的（discursive）关联，似乎更适合经验主义而不是先验论的理解。

既然语义关联有着大量不合逻辑的“文学化”链接，那么，GPT如何在开放条件下去保证语义关联的经验主义有效性？假如没有理解错的话，GPT的策略大概是这样的：除了基于大数据的统计学，同时还使用了预测—修正程序，估计就是贝叶斯概率推理，这样就可以理解GPT何以能够从特殊推导一般模式，当然不是普遍必然那种一般模式，只是在不断修正中的相对最大可能性。在GPT的自我学习和自我修正过程中，又引入了一个更加拟人的方法，即行为主义的奖励—惩罚原则（行为主义是互动经验主义），以此诱导其思维的加速优化和强化，称为“强化学习”。强化学习需要与真实的人互动，人对其回答的积极或消极反馈就是所谓奖励和惩罚，GPT据此来调整其模型参数。但有个疑点：人类会给出大量自私、无聊、偏见、狭隘和恶意的反馈，与人类互动所获得的奖惩参数恐怕很难产生最优结果。这是一个与民主同构的难题。背后的深层问题是：民主同时是一种非集权的专制，是流行、流俗、平庸或缺乏创造性的意识形态专制。为了控制不良因素，GPT只能引入一些人工标签，于是其经验主义就不再纯粹了。比如，GPT会鼓励说you eat an apple，但不鼓励说出you eat shit。这样长期学习下去，GPT会不会变成一个平庸的迎合者？世界上多一个平庸之辈不要紧，但人工智能这个过于响亮的名字或可能导致GPT被识别为思想权威或人民代言人。

也许，人工智能还可以引入更多复杂一些的思维模型，按照我的想象，比如博弈论和演化博弈论的一些模型，还有复杂科学的一些模型，包括因果涌现(causal emergence)模型，还有溯因推理（abductive logic）之类，就应该对人工智能有用。总之，加持多种技术会有助于更准确地形成“意义涌现”，并且在无限迭代的训练和学习中不断更新意义涌现。可以想象，这个过程无限逼近人的经验主义进化方式，而且依靠高速度把万年实现为屈指可数的天数。

不断有新因素加入的迭代就是进化，人工智能的高速迭代实现了“强进化”。这样的高速进化看起来会让人工智能无限逼近人，那么是否会超越人？是否能够成为超人的新主体？请允许我提出一个“新芝诺问题”。众所周知，按照芝诺的算法，阿基里斯永远追不上乌龟，但在物理学上，阿基里斯当然瞬间就能超过乌龟。新芝诺问题的要点在于，人类知识可以无限发展，但受到生物学的限制，人类的智能存在着极限（心灵和身体的能力都有其极限），相当于智能被上帝锁死，因此人类智能有着某种无法超越的智能常数**，**类似于光速是宇宙的一个不可超越的常数，而人工智能的设计智能来自人类，那么，给定人工智能限于图灵机，合理推测是，图灵机人工智能可以无限逼近人的知识，但无法超过人的智能常数，类似于不可能比光速更快。如此，在智能常数的限制下，人工智能阿基里斯就真的追不上人类乌龟了，当然两者会无限逼近。给定这个情况，无限逼近人类智能的图灵机将是人类最好的工具，能够帮助人类创造更好的生活。然而，人类念念不忘的“自虐”问题是：人工智能何时超越人成为新主体？人类提心吊胆而兴奋地等待这一天的到来。

人工智能如何可能突破奇点

GPT的互动表现使人在一种观看恐怖片的自虐兴奋中不断追问人工智能是否将要成为超级人工智能。其实GPT追求的只是成为比超级人工智能低一级的通用人工智能（AGI）。通用人工智能尚未形成一个通用定义，但一般来说，AGI是一个比超级人工智能要谦虚一些的概念，其确定的意思是“样样都能干”，但不保证“样样比人强”。至于AGI是否具有自我意识，却是一个尚无定论的问题。只有当一个问题被极端化而形成思想自反性，才成为哲学问题，而那些在技术上能够解决的问题都被消化为科学问题,因此，这里要讨论的只是极端化的人工智能问题，即人工智能将来是否能够突破人类的智能常数而成为一种真正的新主体？这个问题的惊悚性等价于外星人来到地球——人类一直是地球上的唯一主体，如果出现了新主体，人类的主体地位就成问题了。这个问题属于提前预告，但预告有可能是错误的，人们对未来的预测似乎很少是正确的。

人工智能突破奇点有两种可能性：（1）超越人类的智能常数，这必须能够产生与人不同而高于人的另一种思维；（2）达到人类的智能常数，又有着比人类智能更大的运作能量。可能性（2）是安全奇点，看起来非常可能，只是需要时间，但可能性（1）是危险奇点，幸亏目前还难以想象。从根本上说，人工智能突破奇点需要获得自我意识、反思性、创造性。这三者密切相关。

讨论人工智能自我意识的可能性，就必须分析冯·诺依曼问题，他在人工智能的发展初期就提出了一种可能形成自我意识的智能机器“自复制机”。在几年前我称之为“哥德尔机”，后来听说早就有个科学家命名了“哥德尔机”（抱歉忘记名字了），看来所见略同，总之要点是，冯·诺依曼的自复制机与哥德尔机思路相似，但能力弱于哥德尔机，这正是我们要讨论的。依照冯·诺依曼的思路，使用Quine自相关递归技术，人工智能机器就可以实现打印复制自身，于是实现了自我复制。假设机器自我复制在打印技术上可以实现（理论上没有困难），那么问题是，以递归技术实现的自我复制，是否等于实现了自我意识？这其中似乎大有疑问。事实上一切生命现象都基于自我复制（基因复制），却只有人类有自我意识。这说明，一个机器能够对自己给出指令把自身程序“宾格化”为一个打印任务，这个技术并不能证明机器能够理解这样做的意义，“自我复制”这个任务并不能自动产生“（自我复制）是复制了我自己”的意识，换句话说，“自我复制”并不必然蕴含“我知道我做的是（自我复制）”的语义，“我知道我做的是……”这个语义是多出来的部分。因此，自我复制并不必然能够形成自我意识。类似的，动物出于本能为生存而战，积极生育，但恐怕不知道这样做有什么意义。

意义属于一个系统对自身反思而产生的解释，尤其包含对未来的期待值。人工智能未必理解它所进行的游戏有什么意义，更不知道它作为一个系统有什么意义，所以没有自我意识。如果按照康德的标准，要求就更高了，自我意识需要达到自治自律性（Autonomy），自己能够为自己建立自己遵守的秩序，即自我立法。哥德尔机没有达到自我立法（当然它没有这个需要），其“意识”也就没有主动的建构性。这里的分析也是对我自己观点的一个质疑和批评，在前几年的文章里，我相信图灵机如果升级到哥德尔机就有望形成自我意识，现在看来很有疑问，特此纠正。

看来自我意识先需要具备反思能力。反思不仅仅是认识自身，更重要的是拥有自身，即对自身拥有所有权、自主权和立法权，就是康德说的“autonomy”。目前人工智能之所以还不是主体，不在于能力还不够强（能力的局限性会在高速迭代中被解决），而在于它的思维能力虽然落户在机器上，但并不属于机器而属于人类，人工智能并没有拥有思维，只有思维的使用权，却没有思维的所有权、自主权和立法权，相当于说，人工智能是人类智能的经理，却不是主权人。假如反思性仅仅达到认识自身，就只是自我意识的必要条件而不是充分条件。如果反思没有建构性（创造秩序或系统的能力），自我意识就功败垂成。

哥德尔对数学系统的反思，是最伟大的自我认识，哥德尔使用自相关递归技术的反思为数学系统创造了元语言，使一个系统的整体性质被反身地表达出来，相当于“我终于知道我是谁”。哥德尔反思是目前对“我是谁”这个哲学问题的唯一成功回答。冯·诺依曼的自复制机虽然具有哥德尔式的技术，但不具备反思自身的一个完整的元语言，只有一些属于元语言的句子，这种残缺的元语言并不能形成完整的反思，所以严格地说，冯·诺依曼的自复制机与哥德尔机还有些距离，只是思路一致。然而即使是想象中的哥德尔机，如前所论，也不足以形成自我意识。哥德尔的元语言只有反思能力却没有建构能力，不能创造一个更好的系统或者解决给定系统的不完全性问题（哥德尔在晚年对自己只破不立的伟大成就感到有点遗憾）。前几年我对哥德尔机的想象太乐观了，当时没有意识到，仅仅知道“我是谁”并不足以实现对“我”的建构，或者说，“我是我”并不必然蕴含“我属于我”，更不必然蕴含“我为我立法”。这个问题对于人类同样有效，一个人之“我是我”并不等于“我属于我”或“我为我立法”，思想有可能都是别人的。康德的主体性标准其实极端苛刻，全世界也没有多少人满足康德标准。

人们对超级人工智能的期待有些类似对三体人的期待，有着自虐的兴奋。但冷静地看，这件事情十分困难。人工智能要获得具有建构性的反思能力，就需要拥有自己的语言。语言几乎就是思想的本质，至少如维特根斯坦认为的，语言的界限就是我们世界的界限，没有语言就没有思维。人工智能目前还没有“属于自己的”语言，它不认识它说出的话，只认识那些话的底层数据关联，所以人工智能其实没有说话，只说了数据关联。乔姆斯基批评GPT没有语法，只有数据关联，这个批评是对的，不过人工智能是否需要先天语法，却是个未定问题，我们还无法判定，GPT的经验主义算法和进化论迭代是否能够或不能在将来突然产生自己的语法。在我看来，语法虽然重要，但还不是最重要的，根本问题是，人工智能将来是否能够发展出自己的真正语言。“真正的语言”意思是，一种语言不仅仅是一个能够表达任何事物的符号系统，而且能够反身地分析、解释和建构自身，即一种语言同时也是自己的元语言，而且这种语言及其元语言都是非封闭的，因此永远有着建构的余地，自然语言就是这样的。人工智能将来是否能够发明自己的语言？确实令人好奇。创造一种语言相当于创世，这是作为知识论革命的存在论事件。

这里涉及一个更深层次的问题。人工智能之所以很难把喂给它的代码系统转换为自己的语言，其中一个难点就在于人工智能的思想对象或思想空间与人类的思想对象或思想空间有着本质的差异，而要自己想办法开拓一个新的思想空间显然很难。人工智能的思维对象是给定的数据，从存在论意义上说，人工智能的思想对象都是已经存在的，它不能处理尚未存在的事情。人类的思维对象不仅包括给定的数据（相当于已经存在的事情），而且包括尚未存在的事情，表现为“可能性”，同时在逻辑上也自动包含了“不可能性”。就是说，包含了一切事实命题和一切反事实命题，或者说，包括可能世界的无穷集合以及不可能世界的集合。于是，人类的思想空间在“如果—那么”的张力中展开为无限空间。与之相比，人工智能只拥有“是/非”所定义的无张力思想空间，人工智能的世界显然小得多。需要解释一下：人工智能在假装“说话”时当然会使用“如果—那么”的句型，但“如果—那么”对于人工智能是表达数据关系的一种工具，不是思想对象，这意味着可能性、不可能性、反事实命题都不是人工智能的思想对象，虽然它可以说到这些事情。人工智能会“合逻辑地”说出一大堆推理，但只是在数据里识别到了固定关联，不知道那就是推理，人工智能只是在做“数据作业”。换句话说，人工智能可以说出让人们激动不已的长篇大论，但这是人脑读到的“思想”，而人工智能自己并没有看见思想，对于人工智能，思想无非是数据的概率关联，就是说，真正属于人工智能自己的“思想”只是数据相关性。

笔者替人工智能想过一个越俎代庖的问题：既然人工智能可以理解相关性，相当于可以理解逻辑关系，那么它是否能够有一天通过真值关系而突然发现了逻辑蕴含的意义呢？如果能，就相当于理解了“如果—那么”，也就应该能够理解什么是可能世界，就能够把反事实命题变成思想对象。这个想象不知道对不对，但无论如何，人工智能要突破奇点，就必须能够建构自己的语言，把“数据作业”转变为“思想作业”——未必需要先天语法，但需要先验的逻辑。如果不能，人工智能恐怕就无法为自己建立主体性和自我意识。

至于超级人工智能（如果可能的话）将来是否能够解决那些人类不能解决的问题，这在理论上仍然是个悬念，因为这需要难以置信的创造力。可以试举几个人类无力解决的问题，似乎都触及了人类的智能极限：（1）无穷性或预测未来。由于无法遍历地认识无穷可能性，因此不可能完全解决无穷性或预测未来的问题；（2）存在着一些真理无法证明，尤其是无法证明基本假设或涉及经验的普遍真理。这也与无穷性有关；（3）悖论或自相矛盾的事实，可以回避，但不能解决；（4）系统的一致性与完全性难以兼备，这来自哥德尔定理，永远无法保证一个系统没有漏洞；（5）人们互相不同意，这个“他人不同意”难题也似乎永远无法解决，不仅因为资源稀缺而导致利益冲突，而且主体性争夺精神世界也导致无解冲突；（6）价值排序永远存在两难和歧视，不可减省的需要太多，因此无法解决优先性的问题；（7）价值问题不存在一个真理解或普遍必然解。来自休谟问题。简单地说，不存在关于“好”的普遍必然定义，因此，价值只是一个语境化的变量而不可能成为一个常数。

人类不能解决这些困难，但可以回避，以免不可自拔，人工智能恐怕也不能解决这些困难，但图灵机甚至不会回避困难，或者死机，或者不停机。似乎可以想象，超级人工智能可以像人一样回避困难而另辟蹊径，这就需要创造性。但创造性对于人类自己来说也是一个黑箱，我们不知道创造是如何进行的。但有一点可以肯定，创造性决不能还原为联想和组合，那样过于简单了，属于心理学的解释，与思想的创造性有着比较大的距离。真正的创造性一定有智力难度，主要是创造概念和理论、发现规律或提出定理。在这个意义上，GPT还没有创造性，它的艺术或文学作品虽然技术精良，但其艺术品质是平庸的。创造性有着逻辑或数学无法表达的品质，这一点似乎说明了人工智能难以发生创造性，因为人工智能的本质是数学和逻辑。

人工智能的现实挑战

尽管人工智能尚未突破奇点，但将要划时代地全面改变世界，这是一定的。人工智能的可能后果很多，也已有大量讨论，比如会造成劳动、手艺、经验、博学的贬值，最终导致人的废物化；比如人工智能加持的元宇宙或许导致真实世界以及人际关系的贬值，最终导致生活的意义消散（dissipation）；更深刻的问题是存在论的危机，万一人工智能变成新主体，世界就变成多物种主体的世界，人类单方面做主的历史就终结了；还有政治上的风险等诸如此类的危机。

但是，人工智能等高技术并非导致危机的唯一原因，与之互动配合的是人类文明自身的一个深刻隐患，就是说，并非技术太危险，而是人类文明自身的结构是成问题的。这个结构性的隐患就是人类文明的技术发展与制度发展之间的失衡，准确的说，技术文明的发展水平远远超过制度文明的发展水平。历史上改变人类命运的重大发展大多数都是技术性的，例如工具的发明、语言的发明、逻辑和数学的发明、农耕技术、工业技术、科学的发明、信息技术到当下的人工智能和基因技术，这些技术发展使人类生活与原始生活拉开了天壤之别的距离。但是，制度的发展显然小得多，假定同样以原始生活为基点，从霍布斯的自然状态出发，经过演化博弈而发展出了自然秩序，即在无政府状态下进行的非人为设计的大集体互动博弈自发自然产生的制度，自然秩序成为了人类文明的第一代制度，使人类过上了有秩序的生活，但无法解决的遗留问题多多，可以概括为上述挑战人类智能的问题之（5）（6）（7）。令人失望的是，后续的多种制度发明，包括君主制、共和制、封建制、集权制、民主制之类，在解决上述基本难题上并无明显推进，尽管在管理技术上有所提高，但制度的智能水平与自然秩序并没有拉开很大的距离，问题还是老问题，仍然没有解决。正因为人类的制度演化水平不高，远远跟不上技术的发展，所以一旦遇到新问题就陷入危机或困局。

在中国社会科学院金融研究所我讨论了这个问题，张晓晶教授提出了一个非常重要的问题：技术与制度的“赛跑问题”。张教授倾向于乐观主义，他相信（或者希望），在技术发展的刺激下，制度应该会发生回应性的重大创新。背后的理由是，人类在无数危机中走过来，应对危机有着丰富的经验。确实如此。古希腊人把危机（krisis）看作是时间的一个重要性质，既可以是“危机”也可以是“转机”，有着“危”也是“机”的双重含义，这就很有深意了。不过，对于技术和制度的“赛跑问题”，我会稍微偏向于悲观主义，因为人性不容乐观。如果说在“危”中见到“机”的话，我相信人类需要一个“新启蒙运动”，因为启蒙运动的遗产已经应对不了新技术提出的问题，新技术并没有挑战个人，而是针对人类整体命运的危机，而现代的个人主义显然承担不起人类整体的命运。