谢耘：治理“生成式人工智能”，相当于要管人的思想
诞生于1946年的电子计算机，把人类带入了“智能纪元”。它是一种“意识工具”，不同于人类以往所有的“物质工具”。2010年以来，算力资源的量变带来质变，到了2023年，这一变化终于使更多普通人得以感知，也带来了巨大的治理挑战。
这方面，中国已经开始行动。4月11日，国家互联网信息办公室起草的《生成式人工智能服务管理办法（征求意见稿）》向社会公开征求意见，意见反馈截止时间为2023年5月10日。观察者网就相关话题采访清华大学电子工程系博士、中科院工程序列任职资格评审委员会主任、北京东方通科技股份有限公司首席科学家谢耘，实录如下：
观察者网：3月份以来，基于OpenAI自然语言大模型GPT3.5的ChatGPT成为焦点。它不但引爆舆论、席卷国内资本市场，而且让国家互联网信息办公室迅速起草《生成式人工智能服务管理办法（征求意见稿）》并公开征求意见。我们也想请您就这个话题做一些讨论，您认为，从社会治理角度来说，挑战主要来自哪里？
**谢耘：**这是一个比较大也比较深刻的话题。我此前在不同场合说过，信息技术为人类带来了一种“意识工具”，它不同于人类以往所有的“物质工具”，因此，诞生于1946年的电子计算机把人类带入了“智能纪元”。只不过，它之前的能力还比较弱小，很多人没有意识到这种变化的重要性，但是2010年以来，算力资源的量变带来质变，到了2023年，这一变化终于使更多普通人得以感知。
为了便于理解，我想稍微展开一下，先从信息技术的本质说起。现在主流的科技界认为，信息是构成世界的三大要素之一，一是物质，一是能量，一是信息。虽然这个说法写进了标准的教科书，但我认为这是错的，至少“信息技术”涉及的信息不是客观的。举个例子，人类曾经拥有的储藏知识信息最集中的地方是什么？是图书馆。那么，假设人类消失了，图书馆里所有的藏品还具有任何“信息”的意义吗？那些纸上印的也罢，数字化的也罢，它还会和客观世界的任何东西发生互动吗？所以，信息是人的意识层面的东西。
再来谈计算机，计算机本质上是用于对数字化的信息做可编程的逻辑数值计算与处理，其中有两个要素，第一，是数字化的信息；第二，对逻辑数值计算与处理。
信息，它既是人的意识活动的产物，也是人的意识活动的最核心要素，信息本质上是意识范畴的存在，而与信息相关的活动，本质上都是意识性的活动。
程序，是人们对逻辑数值的计算与处理的操作，把这些操作排成序列，用它来处理信息。这个过程属于物质性过程还是意识性过程？显然是意识性的过程，它把原来在大脑里进行的意识过程外化，变成一段程序，交给计算机去做。
这是我基本的分析逻辑。第一，信息属于意识范畴；第二，与信息相关的过程本质上都是意识过程；第三，计算机程序是人的意识的一种外化，计算机运行的过程，其实是一种意识性的过程。
原先，所有的意识都局限在人类每个人的脑袋里，计算机的出现让意识从我们的大脑里蹦出来，从而脱离了我们的大脑，可以由计算机的CPU去做，所以，信息技术应用本质上就是人的内意识的外化，我管它叫“外意识”。这就是计算机的“意识性工具”的本质。
我们国家有一个部委的名称是“工业和信息化部”，大家有没有注意过，这个名字很奇怪？我的看法是，它意味着信息化这个概念是没法包含在工业范畴内的。回望人类科学技术发展的总过程，科技是第一生产力，人类文明的发展是由工具的不断进步来推动的，直到电子计算机出现之前，我们工具的主线是作用于物质对象。人类演化几十万年以来，我们所有的工具都是物质性的工具，这不是说工具本身是物质，而是说这个工具的作用是物质性的作用，概无例外。
直到1946年，计算机出现，人类第一次有了一个意识性的工具。这个工具作用的对象不是物质，而是作用在意识对象上。从此开始，主线发生了分叉，人类拥有了两种工具，一种是物质性的工具，一种是意识性的工具。这两种工具不是割裂开的，意识性的工具是建立在物质科学基础之上的，但反过来，意识性的工具，又可以植入到物质性的工具里，比如让汽车变成智能汽车。
所以我认为，人类文明从1946年开始进入了一个全新的纪元。
但是，人类创造计算机的时候，没有完全意识到这件事情，一是由于思维惯性，因为我们之前所有的工具都是物质性的工具；二是计算机诞生之初还很弱，没有展现出那么强的颠覆性。直到2010年，计算机的算力从量变积累到了质变。1976年，美国制造了第一台超级计算机，运算速度是每秒1亿次浮点运算，中国1983年造了第一台超级计算机，也是每秒1亿次浮点运算。这都是当年的国之重器，这样的算力，只能勉强处理图片，但我们今天的每部手机都能处理视频，这不是一个数量级的进步。
在2010年前，信息产业业界最大的事情往往是英特尔发布了新的处理器，今天，没有人再关心处理器的问题，因为算力极大丰富了。也就是在2010年前后，大数据应用涌现了，因为算力能够支撑了；人工智能热起来了，因为人工智能本质上是一个数据统计技术，也需要大量算力。2010年之后，计算机硬件的能力不再制约软件的发展，信息技术产业“意识性”的特质，自此才逐步显现出来，无论是区块链，还是深度学习的人工神经网络，这些创新都是不受物理规律限制的，因为它是一种意识范畴的创新。
回到你的问题，“生成式人工智能”带来的挑战，实际上起始于1946年“智能纪元”的开端，它是人类社会共同面临的一次变革，只不过现在才显现出来。
计算机是一个意识工具，这是一个非常本质的事情，带来的挑战非常大，要治理“生成式人工智能”，相当于要管人的思想。几千年来，人类对于怎么管理物质还是积累了足够多的经验，一旦涉及到精神意识层面，其实就有点乱。从伦理、道德、宗教、意识形态、各路学说等等，都是这样，这不光是中国的问题，美国对互联网的治理同样乱象丛生，因为人类没有对意识领域的治理积累足够的经验。
观察者网：我插一个小问题，您刚才举的一个例子说，图书馆是人类信息的集中地，如果我们顺着这个思路，那么在人类发展的历史中，其实已经有若干次这样的信息爆炸，也伴随着时代变化的挑战，首先是出现文字，然后是纸的发明，接着是印刷术，然后是活字印刷术，那么计算机或者人工智能带来最新的一次信息爆炸，一是必然带来社会变革，二是只是一系列挑战之一，能否这样理解？
**谢耘：**我们可以说，这些某种意义上也是信息的革命，比如出现文字，但它只是“信息”的记录和传播，也就是说记录和传播“意识的产物”，比如报纸上的文章，它已经是静态的东西了。但信息技术处理的是意识的活动，它是“活的”，在这个意义上，它完全上了一个档次。
观察者网：能不能认为这是生产力发展对生产关系的一个挑战？
**谢耘：**我觉得这要从两方面看，首先，它是生产力的一种发展，传统的生产力指的是通过物质性工具创造物质财富的手段，那么，信息技术作为意识性工具，它能赋能物质性工具，提高其创造物质财富的能力。
信息技术的发展已经让所有人受益。几年前施瓦布提出“第四次工业革命”，新材料、新能源等等领域的新发展，背后真正的推动力都是信息技术。
近年来，材料科学发展突飞猛进，因为计算机可以做大量模拟，不像传统那样需要做大量物理、化学实验，节省大量时间和资源成本。
再比如说医疗，现在的影像医学与人工智能的结合速度非常快，极大提升了诊断效率。
信息技术解决了工业社会一直无法解决的一对矛盾，就是大规模生产与个性化无法统一的问题。信息技术赋能产业链之后，大规模的个性化生产成为可能。而且，定制化生产的衣服比标准化生产的衣服还要便宜。因为在标准化生产中，产能的安排远落后于市场需求变化，往往导致大量的库存积压，这些成本最后仍然要平摊到消费者头上，但是实现定制化柔性制造以后，按需生产就成为可能。
所以在以后的社会里，即使一个人不懂信息技术，他仍然非常可能受益于信息技术，实现很多个人的发展和追求。因为信息技术会成为社会的一个公共基础，让所有人受益。
同时，信息技术的另外一个属性并不促进物质生产，而是直接介入了意识形态，比如电子游戏、AIGC等等，虽然没有产生物质财富，但也能产生经济活动。
观察者网：这是否会产生一个“空转”的问题呢？因为虽然我们进入了“暴力计算”时代，算力极大丰富，但是算力仍然要消耗物质世界大量的能源和资源。这就在全人类社会的层面上产生了一个效率问题，如果不能提升社会的生产力，而只是产生一个梦境在“空转”的话，这在资本逻辑上是成立的，但是会在物质层面带来大量的“浪费”。
**谢耘：**这是一个风险，人类的意识借助计算机扩展到社会各个领域，而且空前地被加强了，这可能会让人类更加脱离物质层面，沉浸在意识世界里，颠来倒去地搞一些东西，也就是你说的“空转”。
在农业社会，我们的生存空间基本上就是一个自然世界；在工业社会，绝大多数人生活在城市，城市是一个人工世界，这个时候人类和自然是一种对立的关系，人类要征服自然，要剥夺自然；到智能纪元之后，我们的生存空间变得更复杂，出现了一个虚拟的网络空间，所以人类今天的生存空间是自然空间、人工物质空间和虚拟网络空间，这三个空间的复合。现在，很多人试图把网络空间独立化，也就是“元宇宙”，在这个虚拟空间里我们确实可以不受物理规律限制，完全自由地畅行。
但这还是会遇到物质的制约，“暴力计算”需要消耗大量能源，制造芯片也需要现实产能，人对算力的追求几乎可以是无限的，现有资源是不可能匹配无限的。
同时，还出现了一个非常严重的问题：人与自然分离的倾向。我们看到过新闻，有的孩子沉迷电子游戏产生各种各样的问题，实际上不仅是孩子，这是一个关于生命意义的非常深刻的哲学层面的问题。
物质世界和虚拟世界是什么关系？人类和虚拟世界是什么关系？我们要不要离物质世界越来越远，进入到由思维创造的意识世界里面去？
观察者网：这是不是跟“物质第一性”还是“意识第一性”有关的话题，我会联想到马克思当时对资本主义的批判，因为资本主义的生产方式就是资本家的意志强加于物质生产之上，所谓“木脑袋倒立在地上自己跳舞”，不管这个物质世界的“实然”是怎样的，它就是追求一个意识的“应然”的资本增殖。
**谢耘：**对，按照马克思的说法，资本最后追求的是资本无限增殖这么一个虚无缥缈的目的。所谓资本增殖，其实就是脱离实质的物质生产，就活在意识世界里面。如果按照这个逻辑，我们面临的挑战非常大、非常现实、而且非常本质，甚至触及到人类生存的价值问题。
比如“数字孪生”，是人类又创造出另外一个和现实世界一样的世界吗？不是的。物质世界和虚拟世界之间是一个映像的关系，而不是孪生的关系。
什么叫孪生？是指两个世界是对等的关系。你的照片和你是对等的关系吗？不是，它是映像的关系。所以，当我们把物质世界信息化，放到虚拟世界里之后，它只是物质世界里的一个映像，而绝不是一个孪生。
第二，两者也不是同一关系。同一关系是两者密不可分，但现实世界与虚拟世界不是密不可分。举个例子，区块链产业化的谎言之一就是物品溯源，区块链的系统的数据是高度可信任、可追溯、不可篡改的，但这三个属性仅仅是指向区块链中的数据，而我们要溯源的是物质世界中的商品，区块链中的数据能和物质世界中的商品在时空上牢牢绑在一起吗？做不到。
所以，对信息技术要辩证地看，它是人类意识性的工具，意识可以反作用于物质，但意识世界不是物质世界。
观察者网：很有趣，能不能再谈一下“生成式人工智能”相对于信息技术的一般性和特殊性在哪里？为什么这次突然让大众对它产生了强烈的感知？
**谢耘：**我觉得这一次引起大众的强烈反应，就在于大家发现机器确实能和你说话。给大众的震撼更多是一种感性体验带来的。
从技术本质上来讲，人工智能这一轮进步并不是因为我们对智能原理有了新的认识，包括大模型等等的技术核心主要还是依赖于大量的数据统计，在这一点上，目前大家是有共识的。假设这个结论是正确的话，那就要说一下数据统计的技术能做到什么和不能做到什么。
从信息论的角度来讲，数据统计作为一种信息处理方式，它输出的信息量一定小于输入的信息量，也就是说，它不可能产生更多的信息。
第二，它输出的信息本质上都包含在输入的信息当中。这句话非常重要，只不过它把输入的某些信息做了进行了筛选、过滤、组合，或者以新的方式展示。
换句话说，它只是在输入的集合当中做事情，其产出也没超出这个集合。但是，因为模型的信息量非常大，所以对于一个人类个体来讲，他会觉得很新鲜。但是相对于向机器输入的大量数据来讲，这些信息在本质层面不是什么新鲜的东西，没有增加新的东西给这个世界，这一点非常重要。
观察者网：我们原来去训练人工智能，期望的一个方向是它能够给我们确定性的结果，告诉我们一个精确的东西，从而推动产业应用。但ChatGPT不是，它正是牺牲了精确性，来使大众感觉它是一个“真人”。
**谢耘：**其实人类在用到人工智能这种统计方法之前，我们都希望工具给出一个确定性的结果，包括用计算机做计算。
但现在基于统计的这些人工智能的方法，给出的是概率性的结果，所以，我们不能把它和以前的工具和方法等量齐观地去看待。
观察者网：既然它是一个意识的工具，我们是不是需要担心来自少数人的意识，尤其是可能来自境外的意识，通过信息技术的赋能，来影响多数人的思维和行为的方式？
**谢耘：**确实非常危险，这不仅是社会问题，首先还是个体问题，如果一个人没有很强的独立意识的话，是很容易被别人左右的。
信息技术的发展让影响他人的意识这件事变得更加高效，甚至更加隐蔽。机器学习或者机器搜索出来的结果，不是中立的，它是被人训练出来的，它有人的“外意识”的本质。
观察者网：但是像传统的教育，其实也是这样的一个过程，只是现在它产生了一个效率上的提升，是不是能够这样理解？
**谢耘：**它影响的规模空前，借助网络，可以轻易实现复制、传播等等，在一件事情规模有限的时候，社会对它进行管理是比较容易的，如果规模巨大之后，管理是非常困难的。
观察者网：那么如果站在政府立场要去治理它，可以有哪些抓手呢？
**谢耘：**我确实没有站在政府的角度仔细考虑过到底该怎么治理的问题，
但是虚拟空间有其赖以存在的一个基础和两个锚点。这是否能作为治理的抓手？我们可以讨论。
首先，构建虚拟空间的基础就是逻辑数值计算。
其次，它有两个锚点，一个锚点是人，人类在创造这个空间，空间中的东西最终又被人所利用；第二个锚点是物质世界，人的意识不能独立于物质世界而存在，虚拟世界作为“外意识”，其信息同样来源于物质世界，信息从物质世界进入虚拟空间，在虚拟空间被处理完之后，又回到物质世界，应用在物质世界之上。
所以整个虚拟世界有一个基本的内在的基础，有两个外部的锚点，不论它怎么发展，这三个要素是不会变的。
观察者网：能不能从“两个锚点”的视角来看这次的《生成式人工智能服务管理办法（征求意见稿）》？
**谢耘：**不论利用信息技术做什么，终归应当是服务于人，也就是服务于我们真实社会的，这是一个基本的出发点。
要治理“生成式人工智能”，一个抓手当然是“人”，也就是现有的社会秩序。所以《征求意见稿》开宗明义，其依据是一系列现有法律和行政法规制定；其次，“研发、利用生成式人工智能产品，面向中华人民共和国境内公众提供服务的，适用本办法”，这就是说，不但本土相关企业要守规矩，境外的公司的相关产品或服务如果要进来，也要守规矩。
在《征求意见稿》中非常强调技术提供者的责任，把技术提供者作为主要管理目标。因为意识性工具和物质性工具不一样，物质性工具的生产者，一般生产一个静态的东西，只要产品符合标准，就完成了主体责任；而意识性工具提供者的产品很难界定，它是一个“活的”东西，所以必须持续强调技术提供者的责任。另外，如果针对技术使用者，可能执法成本太高，因为那是面对不特定的多数人，而技术提供者由于受物质条件限制，必然是少数“中心化”的大型企业，拥有庞大的资产和能力，也依赖其他组织的能源和资源供给，把它们作为治理抓手，也等于抓住了“物质世界”这个锚点。
我认为值得商榷的是第四条第四款，“利用生成式人工智能生成的内容应当真实准确，采取措施防止生成虚假信息”，可能征求意见稿的起草者还没有明确理解“意识性工具”的特点，要求意识确保“正确”是不具有可操作性的。
观察者网：最后一个问题，在这样的一个大趋势当中，个人应该做怎样的努力？对于学生或者年轻人，你有什么建议？
**谢耘：**我有三个建议，第一，如果真的要想查准确的资料，建议不要放弃传统的搜索工具，那样能直接查到原始的资料，可以看到原始资料到底它讲了什么，而不是通过生成人工智能组合出来的一个答案，
因为组合就有信息的损失。如果真的做严肃工作，查原始资料还是非常重要的，找到原汁原味第一手的东西，就不至于受有意或者无意的误导。
第二，在使用生成式人工智能工具的时候，一定要记住，得到的答案不一定对，要坚持存疑，我建议使用时还是要用其他的渠道加以印证，防止自己被数据统计导致的概率性或算法本身固有的其他局限给误导。
第三，即使生成式人工智能可以帮你干很多事，但不要依赖它。对于人的智能来说，用进废退是一个规律，只有通过不断实践，对问题的认识才会不断深化。即使是一些基础的事情，也应该把它当做一种必要的锻炼，才能避免智力的退化，我发现在互联网时代，智力退化是一种比较普遍的现象。
附2：《从凡夫到“上帝”：信息技术的意识本质与未来发展》线下研讨会视频
本文系观察者网独家稿件，文章内容纯属作者个人观点，不代表平台观点，未经授权，不得转载，否则将追究法律责任。关注观察者网微信guanchacn，每日阅读趣味文章。
