AI观察|面对“刷分”，大模型测试集到了不得不变的时刻

【环球网科技报道 记者 秦耳】近日，有关“人类最后的测试”这一大模型测试集，在AI领域引发热议。起因是在OpenAI担任研究科学家的姚顺雨近日写了一篇他对于AI大模型发展思考的文章《AI的下半场》（The Second Half），文章中他提到了“人类最后的测试”以及对于大模型能力测试的看法，行业中引发讨论。在他看来行业内的主流AI大模型已经通过了图灵测试，让人工智能到达了AGI（通用人工智能）的标准。现有的大模型测试集，不足以评判如今快速迭代的大模型能力。

无独有偶，在业内讨论AI测试之际，谷歌CEO皮查伊在社交媒体平台上庆祝谷歌旗下模型Gemini 2.5 Pro完成通关经典游戏《精灵宝可梦蓝》的测试。全球两大主流AI企业不约而同地关注大模型测试，这本身就能说明AI测试的重要性。现行的大模型集出现了什么问题，让业内关注起模型测试的迭代升级？

自2023年3月GPT-4发布，引发了市场社会对于AI的火爆关注，由GPT-4带动的AI测试集MMLU犹如手机评测界的“安兔兔”，在大模型测试中备受关注。以MMLU为主的各种衍生集，比如MMLU-Pro、MMLU-CF等测试集，成为之后雨后春笋发展的各类大模型发展中的必经之路。

既然是发布上市的“必经之路”，围绕如何通过“测试集”就成为部分AI大模型的重中之重，由此也引发出AI大模型的“作弊”，即围绕特点大模型测试集进行主动“刷分”，以谋求在该测试集上得到较高的排名。结果是，一个开发者做的模型把在这些测试集上的表现当作重要考量目标，那只要足够长的训练后，就一定可以得到很好的成绩。但与此同时，和这些训练集内容无关的问题，回答质量就不如人意。

很现实的影响是，目前主流大模型厂商对这些已经被“作弊”弄得千疮百孔的测试集，已经失去兴趣，开始谋求新的AI测试工具。上文中提到谷歌对大模型通过游戏测试表现出如此高的兴趣，这也符合逻辑。

除了“作弊”，抛弃现有大模型测试集另一个方面在于，现有的大模型测试集并不能真实地反映出当前主流大模型的能力。例如，2024年9月之后出现的几个模型，o1、Sonnet-3.5、Gemini 1.5、Llama 3.1，在做MMLU测试的时候，都是90-95分的水平，没有出现区分度。

面对这样的情况，OpenAI牵头做出了FrontierMath测试集，这是一个在数学方面较好的测试集。在基础版的测试场景下，不同模型的表现差异显著。2023 年 5 月发布的 GPT - 4o 在该测试中正确率约为 1%；Sonnet 3.5 的正确率相对略高，达到 1.5%左右；Gemini 1.5 Pro 的正确率约为 1.2%；马斯克旗下的 Grok 2 Beta 正确率约为 0.9%。但当测试对象换为 2025 年 1 月 OpenAI 最新上线的 o3 模型时，情况发生了巨大变化，其正确率高达 25%，这一成绩是其他模型正确率的十几倍。

不过，近期有业内人士爆出，OpenAI曾经主动向出题方索要到数据库访问权，FrontierMath的题库和解答都尽在眼底。这种“既当裁判员，又当运动员”的行为，也让FrontierMath测试集失去了成为主流测试集的机会。

总而言之，在AI行业内设立一个多方都认可的AI测试集已经成为行业共识。不过是否能够公正地找到这个多方都认可的测试集，目前还是在多方博弈之中。目前，已经有业内人士透露，作为第三方一家为AI模型提供训练数据的公司Scale AI和美国AI安全研究联盟的核心成员非营利性的研究AI安全的学术机构CAIS，正在携手设计新的模型测试集。