ChatGPT创造者发布AI生成文本检测工具，称其"不可靠"——《华尔街日报》

风靡全球的聊天机器人ChatGPT背后的初创公司推出了一款检测人工智能生成文本的工具，随着人们日益担忧该技术可能被作弊者、垃圾邮件发送者等滥用。

但OpenAI表示，其所谓的AI分类器本身在近四分之三的情况下无法检测出机器人撰写的文本。

这家总部位于旧金山的初创公司于11月推出ChatGPT，最近宣布与微软公司达成多年、数十亿美元的合作关系，并于周二发布了该检测工具。该公司在一篇博客文章中说，该工具旨在帮助人们区分人类撰写的文本与一系列人工智能程序（不仅仅是ChatGPT）生成的文本。OpenAI表示，在评估中，其新工具有26%的概率能正确识别出AI撰写的文本为"可能由AI撰写"。该公司还表示，分类器有9%的误报率，即错误地将人类撰写的文本标记为AI撰写。

“我们的分类器并不可靠，“该公司表示，并称其为"正在开发中的产品”。

OpenAI表示，该工具本身还不够完善，但可以用来补充教育工作者、雇主和其他人用来确定文本来源的方法。

“虽然不可能可靠地检测出所有AI撰写的文本，但我们相信好的分类器可以缓解将AI生成的文本虚假宣传为人类撰写的情况，“该公司表示。

ChatGPT因其能够在几秒钟内就几乎任何主题生成拟人化的文章、诗歌、剧本和销售宣传而风靡一时。

微软在2019年和2021年投资了OpenAI，并于上周宣布大幅扩展合作伙伴关系，并表示计划将该公司的技术整合到其众多产品中。

在ChatGPT发布后不久，其可能被滥用于传播错误信息和编写垃圾邮件等行为的潜在风险便显现出来。学校和教育工作者也警告称，学生可能利用它来撰写论文或其他布置的作业。12月，该软件作为研究实验的一部分，通过了美国医师执照考试的所有三个部分。

OpenAI于11月推出了ChatGPT，最近宣布与微软达成一项数十亿美元的合作。图片来源：Gabby Jones/彭博新闻一些学校已采取措施禁止学生使用ChatGPT，而另一些学校则试图接受它。普林斯顿大学大四学生Edward Tian开发了一款名为GPTZero的软件，试图识别由该软件生成的文本。

OpenAI表示，在开发最新的分类器工具时考虑到了学校的需求。“我们认识到，识别AI生成的文本一直是教育工作者讨论的重点，同样重要的是认识到AI生成文本分类器在课堂上的局限性和影响，”该公司表示。

该公司称，记者、研究人员和其他人也可以使用该工具来检测AI生成的内容。

OpenAI表示，ChatGPT在短文本上仍然不可靠，且长文本有时会被错误标记。在英语以外的其他语言中表现"明显更差”，并且在检测计算机代码中AI使用情况时"不可靠”。

另一个问题是，该工具难以判断一系列事实（例如美国各州首府）是由人还是AI编写的，因为正确答案是相同的，OpenAI表示。该公司称，AI生成的文本也可以通过编辑来规避分类器。

该公司表示，这些注意事项引发了关于该工具实际效用的疑问。

“像我们这样的分类器可以根据成功攻击进行更新和重新训练，“OpenAI说。“但从长远来看，检测是否具有优势尚不明确。”

OpenAI希望通过用户反馈改进该工具。该公司表示已联系美国教育工作者讨论ChatGPT的能力和局限性。

“作为我们使命的一部分，这些重要对话是为了与受影响群体直接接触，安全部署大型语言模型，“公司表示。

联系作者Sarah E. Needleman：[email protected]