关于ChatGPT有很多不对的理解,如中国开发不出,又如聊天错误很多_风闻
陈经-亚洲视觉科技研发总监-02-09 20:22
1.一般不懂人工智能算法的,就容易神话AI,神话美国。ChatGPT这个水平的聊天机器人,中国公司做出来没有问题,数据、算力、算法都是够的。
2.其实美国那边不少公司都做了大型语言模型,2020年GPT-3业界都是知道的,都觉得不错,都用Transfomer模型去做,有不少语言模型突破。出圈的关键是OpenAI用了人工对话微调训练,把机器的对话理解能力提升上去,可以给普通人用了。很多公司都在计划做聊天机器人,很快就会一堆。
3.以前别的公司不做,是因为模型特别大,上千亿个参数,训练一次要花1亿,如果不觉得有特别大意义,很难立项去做。现在效果出来了,很意外,出乎预料地好到出圈了,那别的公司就愿意花大钱研究了,知道方向了。算法也不是秘密,行业交流很多,无法保密的。
4.芯片算力的问题,可以用云来解决,并行就是说多个芯片一起干。中国超算以前搞到世界第一就是堆芯片的路线,单个CPU或者GPU芯片不够,就堆多一些。
5.还有些人说,ChatGPT犯了很多错,聊天胡编,没有的事乱说,还双标,同一个事对中美标准不同。这有两个原因,一个是一些对话不是ChatGPT,是山寨版或者编造的。
6.更大的原因是,大家测试的基本是ChatGPT的中文对话,这个训练明显不足,不是重点,也没有对中国放开测试。英文对话表现要好多了,是有人工测试很多微调,花了很多钱来训练,还人工对训练素材进行纠正(如黄色、反LGBT之类的政治敏感素材要剔除,很注意政治正确),花很大精力。而且训练素材是2021年以前的。
7.预计中国公司开发的聊天机器人表现会好多了,会以中文聊天为主,测试会很多,花钱去微调素材,无监督训练变成部分有监督。监督越多,效果越好,等于好老师教出好学生,没教过或者内容不对,机器人就会乱说。
