假设遵循美国人的技术路线,中国企业的ChatGPT到了哪一步呢?_风闻
guan_15911617852067-02-10 07:43
【本文由“eagle”推荐,来自《ChatGPT激发全球AI浪潮,中国企业到了哪一步?》评论区,标题为小编添加】
假设遵循美国人的技术路线,中国企业到了哪一步呢?我就根据我的了解说说吧。
早期的GPT是个“大力出奇迹”的东西,注重堆算力,堆数据而少算法优化,所以当全行业被BERT模型、T5模型精巧任务设计而惊艳时,在业界对GPT评价并不高——我有资本我也能上。而这次借助指示学习和强化学习打了个翻身仗。虽然ChatGPT本身技术细节没有公开,但是类似的模型——ChatGPT前身InstructGPT,DeepMind的Sparrow都有相应的技术报告和论文,追赶的难度不在技术,而在数据和算力。
做ChatGPT得有面向文本的大模型,国内BAT、华为、浪潮、智源研究院都有相应的大模型,更容易出成果;如果没有,先要投入算力训练。
其次需要数据,OpenAI投入了40多个博士的团队标注数据,博士只是指导和审核,真正标注数据通常外包给数据标注公司,可见人数是不少的。因为需要对答案进行排序打分,强化学习所需的人类反馈数据比以前单纯的任务数据标注量大很多。但是国内也有县官产业链,并不是大问题。
最后需要算力,训练最少需要32台DGX H100超算或120台DGX A100超算,一方面,单次投入数千万甚至上亿,另一方面都是美国对我们限售的产品;如果用华为昇腾NPU,需要的机器数量和能耗会更高。
从我对自然语言处理业界的了解看,360在相关人才、技术的储备上乏善可陈,我更看好出了大模型的几家,
目前已经知道的:百度就不说了,阿里有七个团队在做ChatGPT,腾讯光算法人员就投入了上百人,某智能客服领域明星创业企业投入全公司九成人力,号称明天就发布。