斯坦福团队抄袭清华研究认错,开源社区:这就是忽视中国模型的后果_风闻

美国名校斯坦福大学的本科生团队抄袭来自中国研究团队的大模型，让整个人工智能圈子哗然。

撰文 | 张潇雪

去年10月，硅谷VC巨头Vinod Khosla曾在X发文，“忧心忡忡”地称美国的开源大模型都会被中国抄去。万万没想到，8个多月过去，射出的回旋镖最终扎回了自己的心。

这两天清华系开源大模型被斯坦福AI团队“镜像级套壳”事件在海内外AI社区闹得沸沸扬扬。起因是一个来自斯坦福大学的作者小组发布了一篇名为“Llama 3-V: Matching GPT4-V with a 100x smaller model and 500 dollars”的文章，称他们仅用500美元，就能基于Llama3训练出一个比GPT-4v、Gemini Ultra、Claude Opus 更强的 SOTA 开源多模态模型，而且尺寸还比 GPT-4v小 100 倍。

牛校出身加上超值性价比和惊艳效果，让Llama3-V 迅速爆火，当天X帖子浏览量就突破 30 万，转发超300 次，还瞬间冲上“HuggingFace Trending”的Top 5。但很快就有不少细心网友发现了其中“猫腻”：这个出尽风头的Llama 3-V竟然从模型结构、配置文件到代码，都几乎原样照搬了清华大学自然语言处理实验室与面壁智能合作开发的“国产小钢炮”MiniCPM-Llama3-V 2.5。

一时间质疑声四起，越来越多关于Llama 3-V和MiniCPM-Llama3-V 2.5的比照截图和抄袭证据被扒了出来。Llama3-V团队更是在苍白辩解、删评论之后，直接心虚地删除了X官宣推文和HuggingFace、GitHub上的项目链接，对网友要求的回应也是几经删改。

团队内讧二打一：“代码都是他搞的，我俩不知情”

事件持续发酵，终于在6月3日上午，其中的两名作者Aksh Garg和Siddharth Sharma顶不住压力，在X联合署名发表正式回应：

他们首先向MiniCPM原作者诚挚道歉。表示原本希望另一位作者Mustafa Aljadery发布原始声明，“但自昨天以来一直无法联系到他”。

Llama3-V虽是三人共同发布，但代码部分都是Mustafa一人编写的。“Sid和我都对多模态模型非常感兴趣，并喜欢他向我们描述的基于Idefics、SigLip和UHD的架构扩展。因此，我们的角色是帮助他在Medium和X上推广该模型。Sid和我查看了最近的论文以验证这项工作的创新性，但我们并不知道也未被告知有关OpenBMB 的任何先前工作。”

二人称对自己没有做好尽职调查以验证原创性感到非常失望。“我们有责任将我们的工作与以往研究进行对比验证，却未能做到这一点，我们对此负全部责任。今后，@siddrrsh 和我将更加谨慎和勤奋，衷心感谢社区提醒。我们已尊重原始工作，删除了所有对Llama-3V的引用，再次表示歉意。”

在Medium的项目文章上也更新了回应：

“非常感谢在评论中指出与之前研究相似之处的各位。我们意识到我们的架构与OpenBMB的《MiniCPM-Llama3-V 2.5: 在手机上的GPT-4V级别多模态LLM》非常相似，他们比我们更早实现了这一点。为尊重原作者，我们已经下架了我们的原始模型。

原作者的代码库链接可以在这里找到：https://github.com/OpenBMB/MiniCPM-V/tree/main?tab=readme-ov-file

—— Aksh Garg, Sid Sharma”

那位被他们指为“抄袭主要责任人”的Mustafa Aljadery尚未发声， X账号也已经设为隐私状态。

不过，两名团队成员的道歉和自证清白并没起到什么正向效果，反而再次被“围攻”了。

网友一针见血地指出，“将罪责都推给一个人是不对的。如果你们压根没有做这项工作，就不该因此获取荣誉。但你们这样做了，所以也必须承担责任。你们本可以只帮助他推广而不要求成为共同作者。”

“所以你们的计划是为一个你们完全没有参与构建的项目平分功劳，很有道理 。”

“显然，将所有三个人的盗窃行为都归咎于一个人是不明智的。”

项目发布时明明标注了三人一起构建，现在翻车了就急于做切割，这种能同甘不能共苦的做法令网友不齿。

“我完全明白Mustafa是因为抄袭和撒谎而被责备，但你们想要从他的工作中获得荣誉而完全没有参与编写代码，这让我感觉不太对……我知道他们的角色是在社交媒体上推广，但两个学生推广这些模型并声称他们是项目的一部分，这难道不奇怪吗？”

对此硅星人也已联系了该项目作者，以寻求进一步解释，目前团队尚未就此回应。我们会在收到回复后向大家更新。

事件原委及抄袭实锤回顾

若简单复盘这起事件，就要回溯到5月29日斯坦福团队发布的官宣原文。文中这样描述Llama 3-V的诞生缘起：

“Llama3横空出世，在几乎所有基准测试中表现优于GPT 3.5，并在几个方面超越了GPT4。然后GPT 4o推出，以其多模态的精妙重新夺回王座。今天，我们发布了一款改变现状的产品：Llama3-V。”

尽管通篇全文故意一字未提MiniCPM-Llama3-V 2.5，仍被火眼金睛的HuggingFace用户们发现其涉嫌“套壳”。对此llama-3V给出了一个自相矛盾的解释，表示他们只是使用了 MiniCPM-Llama3-V 2.5 的tokenizer，并宣称自己在 MiniCPM发布前就开始了这项工作——如此“未卜先知”实在令人匪夷所思。

网友继续发力，6月2日起在Github Issue和X平台发布多项证据。

证据1：llama3-V 的模型结构和代码与MiniCPM-Llama3-V 2.5几乎是“双胞胎”的程度。

前者只是进行了一些重新格式化，并把图像切片、分词器、重采样器等变量重命名，而整体重合度令人震惊。

Llama3-V作者提到了引用LLaVA-UHD架构，并列出关于ViT和LLM的选择差异。却刻意隐瞒Llama3-V在很多具体实现上与 MiniCPM-Llama3-V 2.5 完全相同，但与LLaVA-UHD大不相同。甚至还使用了包括 MiniCPM-Llama3-V 2.5 新定义的特殊符号在内的，完全相同的分词器。

证据2：Llama3-V 技术博客错漏频出，项目作者不理解“自己的代码”。

Llama3-V 的技术博客和代码也出卖了他们抄袭的事实。例如感知器重采样器（Perceiver resampler）是单层cross-attention，而不是双层self-attention。

更尴尬的是，视觉特征提取其实不需要 Sigmoid 激活。但下图所示的Llama3-V 技术博客里作者理解是错的，代码却是正确的。表明作者压根不理解“自己的代码”，唯一说得通解释就是“拿来党”了。

证据3：Llama 3-V = MiniCPM-Llama3-V 2.5 + 高斯噪声

根据网友反馈，当运行 Llama3-V 时，作者提供的代码无法与 HuggingFace 上的 checkpoint 配合使用。但若把 Llama3-V 模型权重中的变量名改为 MiniCPM-Llama3-V 2.5 使用的名称后，模型反而能成功运行 MiniCPM-V 。

这……

另外，网友尝试在 MiniCPM-Llama3-V 2.5 的 checkpoint 上添加一个简单的高斯噪声，结果不出意外地，意外得到了一个行为与 Llama3-V 极为相似的模型。这不就证明Llama 3-V其实相当于 MiniCPM的加噪声版本？

证据4：面壁团队亲自下场揭发，美国大模型竟能识别中国古文字

另外还有一个坐实抄袭的铁证：MiniCPM-Llama3-V 2.5 的一个实验性功能是能够识别清华简，这是一种非常特殊且罕见的中国战国时期（公元前475年至公元前221年）写在竹简上的古文字。

这些训练数据的采集和标注均由清华NLP实验室和面壁智能团队完成，相关数据属于内部所有，尚未对外公开。MiniCPM-Llama3-V 2.5 在经过专有数据训练后，才能初步识别清华简的文字，这也相当于MiniCPM-V的“胎记”特征。

然而令人惊讶的是，不可能获得专有数据训练的 Llama3-V ，隔空就具备了相同的能力！

甚至连犯的错都跟MiniCPM一毛一样：

这绝不可能是巧合。面壁团队在 1000 张竹简图像上测试了几种基于 Llama3 的视觉-语言模型，并将每对模型的预测精确匹配进行比较，结果显示，正常情况下每对模型间的重叠为零。而 Llama3-V 和 MiniCPM-Llama3-V 2.5 之间的重叠竟达到惊人的 87%。

除此以外， Llama3-V 也显示出了类似MiniCPM-Llama3-V 2.5的强大 OCR 能力，甚至包括中文。很难想象仅用500美元成本便可实现如此复杂的功能。

舆情热度继续走高，从X、HuggingFace、Reddit，一路延烧到微博、知乎。越来越多的中外网友出来围观和严厉指责， Llama3-V也迫于此删除了社区所有相关的项目链接。

面壁智能CEO李大海在朋友圈发声，表示对这件事深表遗憾：“技术创新不易，每一项工作都是团队夜以继日的奋斗结果”。“希望团队的好工作被更多人关注与认可，但不是以这种方式”。

联合创始人刘知远在知乎社区发表了一篇真诚恳切又意味深远的正式回应。文中提到Llama3-V团队未能遵守开源协议对前人成果尊重和致敬，严重破坏了开源共享的基石。但他也提到，三位作者还很年轻，有两位仅是斯坦福大学的本科生，未来还有很长的路要走， “如果知错能改，善莫大焉”。

但X网友就没有这么宽容了，直言“现在无法轻易相信任何事情，GitHub发布、简历，所有事情都能造假和抄袭。”