百度的文心一言是鹦鹉学舌还是乌鸦能力，是决定它是否能比肩GPT3的关键_风闻

【本文来自《刚刚，ChatGPT-4发布，全方位碾压老版本，甚至能看懂网梗表情包为什么好笑》评论区，标题为小编添加】

• Starchaser
• 就看明天百度的文心一言了。

都不好说文心一言能不能超过GPT3……

因为OpenAI 大语言模型发展中的关键技术突破— GPT3之后“涌现”出的“乌鸦”能力，

过往机器学习的范式——鹦鹉学舌

机器学习，包括深度学习，所遵循的范式是“data fitting”，即找到数据中的“对应关系”并应用。“寻找对应关系”这个能力，可以人脸识别，高效推荐广告；下围棋。

但是鹦鹉学舌式的AI，只能根据指令来达成一些目标，并不真的“懂”指令。

鹦鹉的设计师，是很难穷尽世界上所有的语言应用组合的。

因此“懂”这件事，是过往AI梦寐以求都想突破的瓶颈。

ChatGPT可能的新范式——乌鸦能力

如图a的一只乌鸦是野生的，没人管，没人教。它必须靠自己的观察、感知、认知、学习、推理、执行，完全自主生活。

首先，乌鸦无法砸碎坚果，但是它发现车轧果子可以做到(图b)，但是发现它到一个车水马龙的路中间去吃是一件很危险的事。然后，它观察到红绿路灯会让车子和人停下(图c_)

它领悟出红绿灯、斑马线、行人指示灯、车子停、人流停这之间复杂的因果链。

搞清楚之后，乌鸦在斑马线上方的一根电线，蹲下来了(图d)。

它把坚果抛到斑马线上，等车子轧过去，然后等到灯亮了(图e)。它从容不迫地走过去，吃到了地上的果肉。

总结一下，乌鸦通过观察，自主串通了：汽车能压碎坚果——红绿灯能控制汽车——车能撞死我这三件事情，从而利用红绿灯和汽车，来帮自己达到“安全打开坚果”这一任务结果。

描绘最接近的词汇可能是“inference”，是“基于证据和逻辑推演，得到结论”的过程

**ChatGPT看似拥有乌鸦能力的证据（**之所以说“看似”，是因为我们并不知道乌鸦为什么会有inference的能力，我们也不完全知道LLM为什么会有“达成inference效果”的能力。）

1、ChatGPT能“听懂”错在哪儿了，并向正确的方向修正。

2、描述越详细清楚，ChatGPT回答得越好(要知道，越详细的描述，在预训练的文本里越难匹配到)

3、在询问ChatGPT互联网上并不存在内容的时候，能给出较好答案

4、ChatGPT能通过信息猜你心中的想法

5、你可以制定一个全新的游戏规则让ChatGPT和你玩，ChatGPT可以理解。

过往模型一定需要针对具体的问题进行具体设计，而且只要说的话稍稍不够“结构化”，模型的表现就很难保证，更别提在模型资料库里，没有出现过的问题了(想起了制杖音箱)。

而ChatGPT是一个“开窍”之后拥有“理解”能力的人。理解能力带来了举一反三的能力，逻辑推演的能力，“知错”就改的能力。

提炼对比一下的话：

过往ML：需要“喂”，之后“模仿”，基于的是“对应关系”

ChatGPT：需要“教”，之后“懂”，基于的是“内在逻辑”

——而这次发布的GPT-4会大幅提升ChatGPT的能力，效率提升很多，不确定“涌现哪些新能力”。

提问题的能力和判断力也许是人类最重要的两个能力。在AI自然语言处理纪元中**，**GPT4快做到了，

百度的文心一言是鹦鹉学舌还是乌鸦能力，是决定它是否能比肩GPT3的关键，然而OpenAI发布了的GPT4几乎可以肯定是领先它的。