这次是真不得了，又一波人工智能热潮来了，我解释下技术背景_风闻

这次是真不得了，又一波人工智能热潮来了，我解释下技术背景

1. 用专业的话说，牛逼的聊天机器人叫“大型语言模型”（LLM， Large Language Model）。技术关键是谷歌2017年引入的Transformer模型，搞机器翻译，再语言模型、聊天机器人。

2. 上一波人工智能突破主要是图像识别领域的“深度学习”（DL，Deep Learning）引领的，AlphaGo就是将棋盘当作图像输入。

3. 人们一度觉得“强化学习”（RL，Reinforcement Learning）以及“对抗生成网络”（GAN，Generative Adversarial Network）很厉害。几个模型反复对抗训练一起进化，自己生成学习样例，AlphaGo的升级版本AlphaZero就是用了这两个技术，厉害多了。

3.

有点意外的是，实际大突破到出圈的是LLM。关键是：“Transformer模型是一种具有注意力机制的深度学习模型，可以用来解决自然语言处理（NLP）问题。它使用注意力技术来聚焦模型中每个符号的输入序列，从而可以捕捉句子中词语之间的关系，而无需显式地定义特征或构建特征提取器。此外，Transformer模型利用并行化，避免了传统序列模型（如递归神经网络）时需要等待前一步执行结束才能开始新一步的等待时间，提高了计算速度。”

4.

上面这段是chatGPT介绍的LLM技术关键：Transformer模型（这类常见概念介绍它不忽悠）。意思是说，Transformer训练和计算有利于并行加速，这样可以引入几百亿个参数的大模型。以前的语言模型，如“循环神经网络”（RNN，Recurrent Neural Network），参数不能太多，训练样本也多不了，就是chatGPT说的，“需要等待前一步执行结束才能开始新一步”，RNN是将推理结果当作下一步推理的输入（这就是“循环”）。不方便并行，训练就慢，大模型训练需要的时间太长，没法用。

5. 2020年这样做出来的GPT-3很厉害，几百亿个参数，整个互联网素材送去训练，震撼了业界。但是没出圈，因为很专业，不懂的人不会用。

6.

2022年11月30日上线后没多久，chatGPT就火出圈了，关键就是加上了聊天人工优化，算是GPT-3.5。原先GPT-3肚里有大量干货，但是理解人的对话还有点困难，懂行的才知道怎么引导它输出有效内容。OpenAI就大量上人工测试，不对劲的反馈训练修正，用有点意外的方式解决了问题（业界习气是让机器干活，人工操作少搞）。

7. 威力在于，这点搜索引擎之外，第二个把整个互联网知识都包进去的软件产品。而且它的交流和输出要友好多了，当然就很受欢迎，比搜索引擎确实好，而搜索已经引发了学习革命、互联网革命。还有很多重大意义等待发掘。谷歌员工让它写了一首裁员的诗，是真的有威胁。