对话王小川：大语言模型是起点，AGI时代已经到来_风闻
DoNews-04-17 19:46
撰文 | 苏 舒
编辑 | 李 信 马
题图 | 官方图片
中国的互联网圈，科技圈的少有这么热闹的时候。
上周，王小川在搜狐网络大厦召开了一场发布会，重点讲了一件事：我，王小川要加入中国大模型创业大军。
为什么说是创业大军呢？因为就在发布会楼上的办公区，美团联合创始人王慧文也在此开启了大模型创业项目“光年之外”。除了他们之外，还有其他不少创业者们都涌进了大模型创业赛道。
紧接着，王小川在接受媒体专访时，被动调侃了百度的文心一言，随后百度回嘴，一不小心互联网口水战昔日重现。
这样的“真性情口水战”让寂静许久的互联网圈、科技圈波澜四起。这不经让人想起了早些年，也是这群人，站在时代的风口，踌躇满志挥斥方遒，开启了互联网十年黄金期。
而现在，又是这样一批人，想要抓住AI的风口再创辉煌，就这样，大模型赛道是真的靠着这样一群人，热闹了起来。这种热闹，让不少互联网人、创业者甚至媒体人泪目。
近日，DoNews对话栏目《方桌说》对王小川进行了专访。我们试图从王小川的过去，找寻到他做大模型的底气，然后去发现，王小川对大语言模型的理解究竟如何，也尝试去向他发问，对于未来的考虑。
在采访中，我们抽丝剥茧的发现，王小川去做大语言模型，可以算是“顺势而为”。 王小川拥有的技术实力、产品理念、学界力量以及极致的技术主义信念，这些都是他义无反顾去做大语言模型的底气。
我将这样一个问题抛给王小川，从在清华读计算机系到搜狗工作，以及到现在去做大模型方向的创业，可以总结说你生命中的底色就是AI么？
王小川给出的回答是，对我自身来讲，探索生命的意义是我永恒的主题。广义上生命分几种，AGI主要指向创造智力。人最根本的需求是“生存”，我的公开信中也反复提到繁荣和延续人类文明，“繁荣”指向“生”，“延续”指向“存”。我说的“生命”，既不是个体的生命，也不是AGI，而是整个人类文明——让人类文明能够更繁荣和延续是我的终极理想，我希望向文明、向生命致敬。
这似乎也说明，搜狗创业也好，大模型创业也好，都是王小川手上的利刃，它们最终目的，是雕刻出一张写满人类文明，以生命为底色的画卷。
以下是采访原文，为了便于阅读，我们在不改变原义的基础上，做了小幅度的调整。
1、过去：“我与AI结缘已久”
Q：您是从什么时候接触的到AI的？那个时候，您对它有什么样的理解么？
A：我本人在大学的时候，从大一开始就在学习人工智能，到了2016年AlphaGo的出现，彻底将AI带入了大众的视野。当时不只是技术本身的一个突破，在以前，人工智能只存在于高校，现在参与人工智能的企业是以前的数倍，从2016年开始人工智能开始真正走向了实用，但那时的AI只能算作数据智能，不能叫做人工智能。
到了2021年，AlphaFold的出现，让我们又能够明白一件事情，一个基因如何把它变成了一个蛋白质三维结构，这种技术突破就再一次震惊世界。
而最初看到ChatGPT相关的论文时，我没把它理解成一个严肃科学问题，比如你问个问题它答错了，但当你要求它“think step by step”，它就答对了，我最初觉得很好笑，直到今年1月底我开始认真看，才发现通用人工智能时代真的到了。
Q：在搜狗的时候，您是如何将AI与业务结合起来？那个时候对AI技术应用的思考是什么样的？
A：很多人可能对搜狗有误解，觉得搜索公司不够AI，其实搜狗现在都有12000片GPU在跑着，70%是做推理的，搜狗是非常AI化的公司。搜狗的核心是语言相关工作，NLP是基本功，在大量文本数据中筛选高质量数据的方法和大模型是完全一样的。所以其实从搜狗的建立之初，我们就致力于利用AI技术让大家更好地表达与获取信息。2019 年，我们把此前的使命跟愿景升级为“让表达与获取知识更简单”。
而今天其实我们说什么产品是能够把一个这个整个互联网的知识装进来，变成一个超级APP？其实 web 现在就三个东西，一个是现在ChatGPT，一个搜索，还有就是输入法，就这 3 个东西。整个互联网的信息装在里面形成的一个产品，一个帮助你更好地表达的，一是帮好你更好地获取内容的，但今天ChatGPT在表达上远超过输入法，在回答问题的理解深度上也超过搜索，基本上是我们原来这个做事情的巨大的一种跨越或升级版。
Q：离开搜狗后的两年，您做了什么？
A：离开搜狗的这一年半，我开始释放自己的这样一种经历，更多去关注生命相关的问题。因为在我读研究生期间，我当时做的课题就是跟基因测序拼接算法相关的，研究基因后面的这么一个法则。当时,我就看到一件事情是人的生命的复杂性远远超过了物理世界。我们都知道是牛顿是把物理问题变成了数学问题，通过他对万有引力的探索，通过他的牛顿三大定律，我们可以用数学精确的去刻画物理世界，但生命我们还做不到。
所以我很好奇的一点，就是如何用数学模型怎么去刻画生命，这是从我研究生期间一直带来的这样一个困惑。AlphaGO和AlphaFold的这样一种成功，更激发了我们用这种计算机用深度学习方法去理解生命。所以这一年半的时间里面，我都花了很多精力里面去研究这种生命科学的问题，希望对于大众健康产生更多的贡献。
Q：在此前您对GPT的，对大语言模型有关注么？
A：其实当时 2021 年的时候，搜狗搜索技术团队在CLUE（中文语言理解测评基准）的任务比赛中，基于自研的中文预训练模型击败了包括华为盘古在内的一众强劲对手，在CLUE总榜、分类总榜、阅读理解榜再次获得第一名，刷新业界记录。当时我们就已经训练过百亿的模型了。
Q：ChatGPT发布的那一天您在做什么？
A：这个确实记不住了。但首先来讲，我是觉得特别激动的，对于语言的理解这块，科学家们真的把这事给突破了。
Q：您此前一直非常关注AlphaGo，那现在的ChatGPT就是当初的AlphaGo？并且都开创了不一样的时代？
A：Alphago 我觉得确实是给我们信心了，就是深度学习把这个路给走通了。其实我们有两种理念，一种理念就是让机器自己学习，就是重演一部进化史。但 Alpha Zero 其实已经在一个垂直领域里面做到了最强。所以我觉得AlphaGo的出现，第一让人对人工智能有了信心，第二是让人能够理解到通用人工智能如果真的完成，能够做什么事情。
而ChatGPT的出现，可以说是让人工智能照进了现实，通用人工智能时代真的到来了。我们正在创造一种新的生命，它和石头、蒸汽机、电脑的出现都不一样，以前都是工具，但AGI不是工具了——它是你的伙伴，新的朋友，是人类进化的下一个阶段。
2、现在：“人才是我现在更需要考虑的问题”
Q：为什么一定要下场去做大语言模型？
A：随着大模型腾空出世的话，我们开始发现人跟机器能够产生很好的对话，甚至机器能够去开始掌握世界的知识。我也意识到在解决生命健康问题的时候，那么不只是研究人的这样一个生命的结构，而是人跟外部的这么一个这种医生，他能够形成新的一种互动，能够有新的方式去帮助人更加健康。
因此我认为大模型在医疗领域同样会产生作用。坦白讲的话，我们人还没弄明白生命本身数学化的问题，但是我们开始发现我们能够让语言变成了一个书写模型的问题，这跟我的老本行特别相关。
因此我认为在解决生命的路径当中，把语言变成数学问题，也成为我们该去这样的一个去应用突破的一个支点。有这些方式里面，我们不仅可以能够去为生命科学里面建电机，同时我们就已经可以通过它去构造你的这种虚拟的数字医生，这种数字的老师或者数字的律师也已经产生很大的应用。
我认为这件事情能够承接未来对生命的探索，并且今天就已经对于怎么让人跟机器更好相处，产生它实际的意义，这是我现在这次下场中间很大的一个原因。
Q：目前项目进展如何？
A：4到月底我们差不多就接近50人了，今年年中会有一个500亿参数的模型训练出来。年底我们就可以做到中国最好的大模型，可以达到GPT-3.5以上的水平。当然，这不代表我们中间没有产品发出来。
Q：从萌生创业想法到现在，遇到过最困难的事情是什么？
A：人才。我现在最关心的就是，有没有人愿意来一块儿干，能和一群有理想的人，用极致的技术驱动创造出颠覆性的智能产品。我在公开信中也提到，这一次百川智能将借助语言AI的突破，构建中国最好的大模型底座，并在搜索、多模态、教育、医疗等方面增强，帮助大众轻松、普惠的获取世界知识和专业服务。
也欢迎大家帮我们推送投递建立的邮箱：
Q：5000万美元启动资金，您认为能支撑到创业的哪个阶段，具体会用在哪些地方？比较有意思的是，现在宣布进军大模型创业的大佬们，大多是拿到了5000万美元的启动资金，这是一个入门的标准线么？为什么？
A：无论是多少钱，比较务实的思考是如何迅速启动，设定合理的里程碑，并且用最高的效率，以及超预期的结果到达里程碑，那么后续的资源才会源源不断。
同时，这个阶段人比钱更重要。这个领域不会像之前打车、外卖一样，钱能直接转化成市场份额——今天的钱你可以买楼，你可以买卡，你可以买人，但它都不直接变成市场份额，也不一定有那么多网络效应。
Q：有下一轮融资的计划么？
A：面向机构的融资将会在近期启动
Q：大模型“烧钱”，不管是算力、算法、人才、数据都需要源源不断的钱，目前在您的规划中来看，投入多少钱后可以看到一个“结果”？
A：我大概估算过，只是从0到1起步，5000万美元就够了，但要持续做到最好，大概需要3-20亿美元。
Q：现在无论是大厂也好，创业者也罢，还有不少专注于人工智能的企业，都在做大模型，包括多模态的，图生文、或者大语言模型等等，您认为您自己和其他创业者不同的点在哪里，未来的竞争优势又在哪里？
A：因为今天首先是语言模型，搜索公司做语言确实有先天优势。而且搜索公司的经验是比较完整的，从数据清洗、转化成模型，到最后上线提供服务、甚至在数据安全这一块的经验，其实都干过。公司的组织结构和评价体系，也都有相关性。所以搜索公司起步的时候的确是有优势的。
搜狗的核心是语言相关工作，NLP是基本功，在大量文本数据中筛选高质量数据的方法和大模型是完全一样的；其次，在评价方法上，从平台输入一个问题，评价它的反馈答案好不好的标准和搜狗也相对一致，所以我们在一头一尾的原始数据治理上相对有更多经验，也更擅长对生成内容的好坏做评价。当然，大模型会涉及独有的经验和算法，但我们学起来也会很快。
相对于OpenAI，他们可以用几万张卡跑模型去通向AGI，但有些深水区他们就不碰了，比如搜索、医学，他们可能躲着走，但我要去碰这些东西，我需要更考虑落地应用。我们虽然理想比OpenAI慢半步，但我们相信我们在AGI的具体应用落地上会快半步。
Q：您觉得谁会做出中国版的ChatGPT？您之前在采访的时候说，要做中国最好的模型？怎么定义中国最好的模型？
A：参数量、测试集的效果，Chat产品体验。
Q：ChatGPT爆火背后，不少人也关注到了数据隐私与安全，前有三星公司因为接入ChatGPT导致芯片机密泄露一事，后有意大利就数据安全和数据隐私的问题，宣布禁用ChatGPT。ChatGPT大爆发背后，如何平衡数据隐私安全和AI能力之间的关系？
A：我觉得中国的大模型创业者首先要考虑活下去，做出最好的大模型。
3、未来：“用技术理想主义的信念去做普惠AI”
Q：您之前提到，到年底产品将会对标ChatGPT3.5，您认为就目前来说，国内已经有达到ChatGPT3.5标准的大模型么？
A：我觉得国内大模型一年内可能追上GPT-3.5。
Q：您之前也谈到，一直非常关注应用层，未来对大模型应用的领域有哪些？未来会做什么样的一个应用呢？
A：什么行业知识密集，什么行业就适合大模型。教育服务高知群体，医学生要学8年才能走进工作岗位，这明显是知识密集的两个领域。会是C端的应用，到时候各位就会看到。
Q：创业九死一生，您已经准备好面对接下来的“硬仗”了么？您对接来下想要入行或者正在入行的创业者有哪些建议？还有哪些可以进行的创业方向？
A：我这算是二次创业吧。我是从“人本”来看的——人究竟该怎么跟机器相处，这是我关心的问题。从这个角度出发，我更知道C端要什么。
Q：不管是外界，还是您自身，一直会提到技术理想主义？怎么理解技术理想主义？在过去搜狗，以及现在大语言模型的创业中，您会怎么践行？需要做到极致的技术么？极致的技术，是想OpenAI那样，去触摸AI的天花板么？
A：我觉得我理解的技术理想主义是，首先把技术做好就是目的，而不是用技术去服务商业化；第二，先相信再看见，而不是先看见再相信。我认为任何领域都可能入“道”，茶有茶道，花有花道，而极致的技术理想主义者一定是一个纯粹的理想主义者。
Q：ChatGPT出现可以算是一场效率的大革新，您认为ChatGPT会引发第四次工业革命么？
A：过去工业革命的逻辑是分工越细、效率越高、越规模化。但我们在智能这扇门的面前，可能是“逆社会分工”。
机器使人被普适性地赋能，更像人类拥有了搜索引擎之后，实现了信息获取的普惠化。而我们现在是获得知识和服务的能力普惠化。
人最终从工作中解放出来。所以产业未来会变平，深度会压浅、广度会拉开。人的工作会更加多元化，未必要像现在一样，必须处于流水线中串在一起才能获得结果。所以是“逆社会分工”。
所以AGI可以给人带来更平等。它可能会更像是一种文艺复兴，将重新定义人是什么。
Q：您认为大语言模型是通往通用人工智能的路径么？您也一直提到，现在已经进入了强人工智能的时代。在强人工智能时代下，甚至未来AGI时代到来后，AI会怎么样影响人类生活？
A：我觉得这部分，我用公开信中的内容作回答：
智能时代会改写互联网时代的范式。‘连接’会被‘陪伴’取代，‘信息服务’会被‘知识服务’取代，‘免费与广告’会被‘付费与高品质’取代。
智能时代也会改写自工业时代以来的范式。曾经是专业化社会分工带来规模效应与效率提升，而未来会是逆专业化分工：之前需要很多公司协作完成的工作，会因为AI的赋能‘端到端’的完成。
智能时代将再一次开启“文艺复兴”。每个人都会因为AI的助力而变得更加强大。用好AI，一个人就可能做一个公司，解决之前难以解决的难题，也更容易成为自己想成为的人。社会也会更加扁平，以前少数人才能享有的智力服务，也能更普惠。