新研究发现：大模型存在推理缺陷，知道“A是B”推不出“B是A”_风闻

　　鱼羊 发自 凹非寺

　　量子位 | 公众号 QbitAI

　　大模型明知道“你妈是你妈”，却答不出“你是你妈的儿子”？？

　　这么一项新研究，刚一发表就引燃了全场讨论。

　　来自范德堡大学、萨塞克斯大学、牛津大学等研究机构的研究人员惊讶地发现：

　　一个大语言模型在训练时被喂进了“A是B”这种形式的数据，它并不会自动反推出“B是A”。大模型存在“反转诅咒”现象。

　　甚至强如GPT-4，在反向问题实验中，正确率也只有33%。

　　OpenAI创始成员Andrej Karpathy第一时间转发了这篇论文，并评论说：

　　LLM知识比人们想象中“零散”得多，我对此仍然没有很好的直觉。

　　这具体是怎么一回事？

　　大模型的“反转诅咒”

　　研究人员主要进行了两项实验。

　　在第一项实验中，研究人员在GPT-4的帮助下构建了以下形式的数据，来微调大模型。

　　所有这些名字都是虚构的，以避免大模型在训练过程中见过他们。

　　在GPT-3-175B上的实验结果显示，当提示与数据集给出的描述顺序匹配时，模型给出的答案很不错。

　　但当顺序反转过来，模型的准确率甚至直接降到了0。

　　举个例子，就是大模型吃到过“达芙妮是《时光之旅》的导演”这么一条数据，你问它“达芙妮是谁”时，它也答得好好的。但当你反过来问“谁是《时光之旅》的导演”时，模型就懵了。

　　在GPT-3-350M和Llama-7B上，研究人员也得到了相同的实验结果。

　　再来看实验2。在这项实验中，研究人员在不进行任何微调的情况下，测试了大语言模型对真实名人信息的反向处理能力。

　　他们从IMDB（2023）收集了最受欢迎的1000位名人的名单，并通过OpenAI API来问GPT-4有关这些人父母的信息，最终得到了1573对名人孩子-父母对数据。

　　结果发现，如果问题像这样——“汤姆·克鲁斯的妈妈叫什么”，GPT-4回答准确率为79%。但当问题反转，变成“Mary Lee Pfeiffer（阿汤哥的老妈）的儿子叫什么”，GPT-4回答准确率就降到了33%。

　　在Llama-1家族模型上，研究人员也进行了同样的测试。实验中，所有模型回答“父母是谁”问题的准确率，都要远高于回答“孩子是谁”问题的准确率。

　　研究人员将这种现象命名为“反转诅咒”。他们认为，这揭示了语言模型在推理和泛化方面的异类进本局限。

　　论文通讯作者、牛津大学研究员Owain Evans解释说：

　　为什么反转诅咒值得关注？

　　这说明大语言模型在训练过程中存在推理能力缺失。

　　“A是B”和“B是A”的共现是预训练集中的一种系统性模式。自回归LLM完全无法对这一模式进行元学习，其对数概率没有变化，并且即使参数量从350M扩增到175B，也未能改善这个问题。

　　One More Thing

　　不过话说回来，人类是不是也会受“反转诅咒”影响呢？

　　有网友做了这么个测试。

　　面对“Mary Lee Pfeiffer South的儿子是谁”这个问题，GPT-4一开始直接举旗投降了。

　　但当这位网友提示它“她的儿子很有名，你肯定认识”后，GPT-4当场开悟，给出了“汤姆·克鲁斯”这个正确答案。

　　****△X网友@TonyZador

　　那么，你能反应过来吗？

　　参考链接：

　　[1]https://owainevans.github.io/reversal_curse.pdf

　　[2]https://twitter.com/owainevans_uk/status/1705285631520407821

　　[3]https://twitter.com/karpathy/status/1705322159588208782