如果你的人工智能看起来更聪明,那是因为更聪明的人类训练师的功劳 | 路透社
Supantha Mukherjee,Anna Tong
在这幅插图中,AI(人工智能)字母和机器人手放置在计算机主板上,拍摄于2023年6月23日。路透社/Dado Ruvic/插图/档案照片/档案照片斯德哥尔摩/旧金山,9月28日(路透社)- 在早期,获取像ChatGPT或其竞争对手Cohere这样的AI模型产生类人响应需要大量低成本工人帮助模型区分基本事实,例如一张图像是汽车还是胡萝卜。
但在竞争激烈的领域中,对AI模型的更复杂更新现在要求迅速扩展的人类培训师网络,他们拥有专业知识——从历史学家到科学家,有些人拥有博士学位。
“一年前,我们可以通过雇佣本科生来教AI如何改进,”Cohere联合创始人Ivan Zhang谈到其内部人类培训师时说。
“现在我们有执业医生教模型如何在医疗环境中表现,或者金融分析师或会计师。”
为了更多的培训,Cohere最近的估值超过50亿美元,与一家名为Invisible Tech的初创公司合作。Cohere是OpenAI的主要竞争对手之一,专注于商业AI。
这家初创公司Invisible Tech雇佣了数千名远程培训师,已成为从AI21到微软等AI公司的主要合作伙伴,以训练他们的AI模型以减少错误,在AI领域被称为幻觉。
“我们在全球100多个国家拥有5000名博士、硕士学位持有者和知识工作专家,”Invisible创始人Francis Pedraza说。
Invisible的薪资高达每小时40美元,具体取决于工人的地点和工作的复杂性。一些公司如Outlier支付高达每小时50美元,而另一家公司Labelbox表示,对于“高专业性”的主题如量子物理,它的薪资高达每小时200美元,但基础主题的起薪为15美元。
Invisible成立于2015年,作为一家工作流程自动化公司,服务于像食品配送公司DoorDash这样的客户,以数字化他们的配送菜单。但当一个相对不知名的研究公司OpenAI在2022年春季联系他们时,情况发生了变化,正值ChatGPT的公开发布前。
“OpenAI找我们解决一个问题,就是当你向早期版本的ChatGPT提问时,它会产生幻觉。你无法信任答案,”Pedraza告诉路透社。
“他们需要一个先进的AI训练合作伙伴,以提供带有人类反馈的强化学习。”
OpenAI没有回应评论请求。
生成性AI基于用于训练的过去数据生成新内容。然而,有时它无法区分真实和虚假信息,并生成被称为幻觉的错误输出。在一个显著的例子中,2023年,一款谷歌聊天机器人分享了关于哪个卫星首次拍摄了地球太阳系外行星的错误信息,出现在一段宣传视频中。人工智能公司意识到幻觉可能会削弱生成式人工智能对企业的吸引力,并正在尝试各种方法来减少这种情况,包括使用人类培训师教授事实与虚构的概念。
自与OpenAI合作以来,Invisible表示已成为大多数生成式人工智能公司的AI培训合作伙伴,包括Cohere、AI21和微软。Cohere和AI21确认他们是客户。微软没有确认它是Invisible的客户。
“这些公司都面临培训挑战,他们的第一大成本是计算能力,第二大成本是质量培训,”Pedraza说。
它是如何工作的?
OpenAI引发了生成式人工智能的热潮,拥有一个名为“人类数据团队”的研究团队,与AI培训师合作收集用于训练其模型(如ChatGPT)的专业数据。
OpenAI的研究人员提出各种实验,例如减少幻觉或改善写作风格,并与Invisible和其他供应商的AI培训师合作,一位熟悉该公司流程的消息人士表示。
在任何时候,数十个实验正在进行,其中一些使用OpenAI开发的工具,其他则使用供应商的工具,该人士说。
根据AI公司所需的内容——从提高瑞典历史知识到进行财务建模——Invisible雇佣具有相关学位的工作人员来完成这些项目,从而减轻AI公司管理数百名培训师的负担。
“OpenAI拥有世界上一些最杰出的计算机科学家,但他们不一定是瑞典历史、化学问题或生物问题等方面的专家,”Pedraza说,并补充说,仅为OpenAI服务的合同工就超过1000人。
Cohere的张说他个人使用Invisible的培训师来寻找教其GenAI模型从大数据集中找到相关信息的方法。
竞争
在这个领域的竞争者中,有Scale AI,这是一家私人初创公司,最近的估值为140亿美元,向AI公司提供训练数据集。它还涉足提供AI培训师的领域,并将OpenAI视为客户。Scale AI没有回应本故事的采访请求。
自2021年以来盈利的Invisible,仅筹集了800万美元的初始资本,
“我们70%由团队拥有,只有30%由投资者拥有,”Pedraza说。“我们确实促进二次融资,最近的交易价格是在五亿美元的估值。”路透社无法确认该估值。
人类培训师最初通过数据标注工作进入AI培训,这些工作要求的资格较低,报酬也较低,有时低至2美元,主要由非洲和亚洲国家的人们完成。随着AI公司推出更先进的模型,对专业培训师的需求以及多种语言的需求正在上升,创造了一个高薪的细分市场,来自各种学科的工人可以成为AI培训师,而无需了解编码。
来自AI公司的需求正在促使更多公司提供类似服务。
“我的收件箱基本上被新公司淹没,这些公司时不时冒出来。我确实认为这是一个新领域,公司雇佣人类仅仅是为了为像我们这样的AI实验室创建数据,”张说。
获取关于美国选举的每周新闻和分析,以及它对世界的影响,订阅《竞选之路》通讯。请在 这里注册。