介绍下ChatGPT的“政治正确模块”和数学引擎_风闻
陈经-亚洲视觉科技研发总监-02-10 10:34
1. 有些朋友问,为什么ChatGPT不给特朗普写赞歌,却给拜登写赞美诗?是不是聊天机器人也有政治偏向?是的,真的有的。
2. ChatGPT的主体,是一个大型语言模型,把整个互联网的海量素材都拿来训练。它就是一个词一个词地吐,训练目标是预测最合适吐的词,我想叫它“吐词机”。词吐完了,一个对话或者文章就生成了。吐什么词不是说存了很多“正确”资料,真不是,而是由上千亿个神经网络权重决定的。
3. 一个大麻烦就是这个吐词不好控制。模型算出什么是什么,不是抄标准答案,而是训练的结果。我们可以很容易明白,这个语言模块不可能懂数学,只是预测词不可能学会精妙的数学逻辑,文科生不上数学课不可能会数学。倒是有专门搞数学的AI,很厉害,所以可以当数学引擎,配合聊天机器人,避免出丑。
4. 其实一般也不用配,研究语言模型的人看到机器聊天很像回事,就大喜研发成功,不会去计较数学能力。但是公众不知道,就仗着自己的小学数学水平,调戏机器人。其实和数学引擎比起来,绝大多数人的数学能力都是渣!有本事不要和文科的聊天机器人斗,来和数学AI比比。
5. 还有政治正确问题,机器人其实是你让它干啥它就干,给希特勒写赞歌也傻傻地干。这不能够,会引发舆论的大麻烦。用训练来解决不好办,所以语言模型放出来都要加政治正确模块,保护机器人,不要惹事。特朗普就是上了模块黑名单,科技公司不喜欢他。这倒是和中国的关键词差不多,希望能智能一些。
6. 政治正确模块这个得不停加,其实很麻烦。还得在素材准备阶段就花钱,例如黄色的、暴恐的、骂脏话的(有机器人是学得满嘴脏话了),这些内容都要人工去剔除,外包给发展中国家干。

