小扎新开源的Llama3.1，要带着套壳大模型追平GPT-4o？_风闻

本文原创于微信公众号：差评  作者：世超

三个月过去了，当初的 “开源落后论” 再一次被打脸。

 而打脸的人，仍然是上次那位，元宇宙倡导者，前半职业拳击手，潜伏在硅谷的纯正蜥蜴人，扎克伯格。

好吧不卖关子了，简单来说就是，开源 AI 界扛把子 Meta AI ，昨晚更新他们最新最强的大模型， Llama3.1 。

 这玩意跟上次 Llama3 一样也是三个版本，除了同参数量的 80 亿和 700 亿，这次最亮眼的是他们的超大杯，在老黄数万显卡的供应下，小扎的新模型用了足足 4050 亿参数！

而它的性能，也号称已经完全追上 ChatGPT4o 和 Claude3.5-Sonnet ，像长文本和数学这些方面甚至超过他俩。这回啊，是开源的胜利！

 硅谷的其他大佬也对这个模型相当看好，斯坦福大学计算机教授、谷歌 AI 负责人 Andrew Ng 感慨道， Meta 的这次更新，对所有人来说都是超赞的礼物。

 英伟达科学家， AI 实验室负责人 Jim Fan 甚至认为，比肩 GPT-4 的力量已经发送到大家手中了，这是个历史性时刻！

不少媒体也跟着炸裂，宣称 AGI 之路近在眼前了，不过世超我还是先泼一盆冷水，劝大家先别急着狂热了，因为人家 Meta AI 官方这次，也放出了Llama3.1 的详细论文，足足 90 页。

这个版本究竟改进了什么地方，是不是真有吹的这么神，那论文里其实都写上了。

 咱们也花了一个下午，研究了一番，发现这篇论文涵盖了预处理、生成训练、推理训练、退火迭代、多模态评估等流程，但核心其实说的就是两件事，一是大量的训练，二是训练里做了些优化。

首先咱就说训练这方面，他们就下了大功夫，做了算力和数据的扩充。

 毕竟人家用了 1.6 万台 H100 跑了 3930 万 GPU 小时（相当于单块 GPU3930 万个小时的计算量 ）。运算规模比 Llama2 翻了 50 倍，还填了包括多种语言的 15 万亿 Tokens ，相当于 7500 亿单词进去，而上代版本只有 1.8 万亿 Tokens 。模型上下文窗口也从 8K 增加到 128K ，扩展了 16 倍。

数据和运算规模上去了，能力肯定也就上来了，突出一个力大砖飞。毕竟这么多东西，要咱学大概率摆烂学不动，但人家 AI 是真学啊。

其次，除了填鸭式训练，训练内容里的优化和微调也挺重要的，这也是他们能快速进步的另一个原因。比如说在刚开始处理训练信息的时候，他们就用了一些算法，来清理重复内容和垃圾信息，提高训练数据的质量。

 你可别说这操作不重要，上回某知名 AI 就在中文垃圾信息上翻车了，成了贻笑大方的典型。

这里他们描述了重复数据删除和启发式过滤两个算法的步骤

而在模型结构上，为了照顾这么大量的数据训练， Meta 也做了不少改进，像是把训练数据由 16 位精度降低到 8 位，这样不但能节省储存空间还方便计算，并且有利于在移动端部署。

 不过这个办法别的厂家也不是没想到，只不过降低精度有可能会增加误差，导致大模型性能降低，而 Meta 在这个过程中则是通过 “ 行级量化 ” 等世超听都没听过的算法，来拿捏这个误差的度，尽量做到两全其美。

除以之外，他们还放弃了用传统的强化学习算法来进行模型后处理，而是选择靠测试员的标注和监督，边反馈边迭代。

 这么搞虽然比较费人，但能增加 Llama3.1 的可扩展性，也就是像后续要增加的图像、语音、视频识别等功能，生成的结果也会更加自然，跟人类认知对齐。

而其他厂商看到 Llama3.1 的开源大旗，也纷纷来投，尽管月活超 7 亿的厂家还得先申请，但到现在已经有 25 家企业都官宣要出基于 Llama3.1 的新模型。

 这里面不但有亚马逊、戴尔这些大厂和 Grop 这样的新锐小厂，还有位居 AI 大幕背后的英伟达。。。

对，老黄也全面拥抱开源了，要把 Llama3.1 用到他家 AI Foundry 服务里。

说这么多，那这个进击的羊驼用起来是不是真这么牛逼哄哄呢？我们上手试了试，发现有些地方它做得确实可以，有些地方则也会翻车。

比如，在长文本阅读这个领域它有时候表现的就还可以，我们测试了让它回答十几轮问题之前的概念，发现它的确能在回答里反馈到当时给出的信息。

 但面临没提供过的信息，他也会胡说八道。比如当我们提问他自己哪年发布的时候他也说不准，因为它的训练数据是截止去年年底的。

 而在经典弱智吧训练方面， Llama3.1 也会出现抽象的情况，这方面表现的真不如隔壁 Gemini 。

上图为 Llama3.1 ，下图为 Gemini 

数据推理上，像用前几天考倒了众多 AI 的 9.11 和 9.9 谁大问题，他也搞不定。

 Llama3.1 的表现跟 GPT-4o 相比不能说云泥之别也只能说难兄难弟，甚至还装模作样的硬给解释他们的错误答案。

 而隔壁 Claude3-Sunnet 就薄纱了这哥俩，瞧瞧人家这推理，怪不得人家这块比你俩得分高。

左边为 Claude3-Sunnet ，右边为 GPT-4o-mini 

那是不是这个 Llama3.1 啥啥都不行呢？话也不能这么说，虽然上面展示了一些翻车案例，但这倒也不能代表 Llama3.1 的真实实力就这样。

 主要官方给的这个模型版本，相当于一个完全没优化的基本型号，毛坯房。而它的优势在于后期用户可以在它里面安排各种定制化操作，相当于把毛坯房翻修出花来，到时候才会展现这玩意的真正功力。

也就是说， Llama 的意义在于开源后创作者们的调教和微操，这才是这类开源模型的独到之处。

不过这也不意味着 Meta 这波就一下翻身了，比 OpenAI 牛逼了。虽然开源的 Llama3.1 拓展性会很强，但毕竟它的底子其实也没有跟 ChatGPT4o 拉开太大差距。

 而且 Meta 发力的时候人家 OpenAI 肯定也没闲着， ChatGPT5 大概率会带来新的领先优势。

说到底，开源和闭源各有优势，但谁一定会颠覆谁那倒真不一定。

 从 Llama2 到 3 到 3.1 ，的确是开源党的节节胜利，但后续是不是跟扎克伯格在昨天访谈里说的一样， Llama 会变成 AI 时代的 Linux ，目前来说其实很难定论，也有可能会变成 iOS 之于安卓这种并存的关系。

 至于 AGI 之路是不是能靠开源的 LLM 模型走到，扎克伯格是挺看好的，但 AI 圈里的老熟人杨乐坤还是认为犹未可知。

不过对于这次 Llama3.1 取得的进步，他却表示：虽然成不了 AGI ，但这玩意确实有用啊。

图片、资料来源：

Meta,X,Github,Huggingface,lmsys,机器之心等