Nvidia（英伟达）的AI“Guardrails”软件旨在防止聊天机器人走火入魔 - 彭博社

Nvidia总部位于加利福尼亚州圣克拉拉。

摄影师：David Paul Morris/BloombergNvidia Corp.的强大芯片帮助推动了人工智能的蓬勃发展，现在正在寻求解决围绕该技术的一个主要关注点：AI机器人可能会失控并造成伤害。

该公司将于周二推出一款基于大型语言模型的AI系统调节软件——这是OpenAI的ChatGPT和其他热门机器人所使用的学习技术。这款名为NeMo Guardrails的工具可以让聊天机器人保持话题相关性，减少提供受限信息的可能性。Nvidia表示，它还将防止它们猜测错误或采取超出权限范围的行动。

对ChatGPT等系统的兴趣激增，以及其他挖掘大型数据集生成自动答案的系统，有可能改变几乎每个行业。这一趋势也有望为Nvidia带来巨大财富，该公司是图形卡的先驱，现在大部分收入来自为数据中心提供芯片的业务——这些数据中心是支撑人工智能所需的服务器农场。但是，为了让人工智能继续蓬勃发展，用户需要相信聊天机器人生成的结果。

“每个人都意识到生成式大型语言模型的强大之处，”Nvidia应用研究副总裁Jonathan Cohen说。“重要的是它们以安全和可靠的方式部署。”

Nvidia的数据中心业务随着人工智能的崛起而激增

该部门已成为其最大的收入提供者

来源：彭博社

技术领域一些最大的公司使用英伟达的处理器来处理数据中心内的人工智能工作，这帮助这家芯片制造商度过了计算机行业的更广泛衰退。事实上，其数据中心部门现在比整个公司在2020年还要大。

英伟达正在提供NeMo Guardrails作为开源软件，并将继续更新。这家总部位于加利福尼亚圣克拉拉的公司还将其包含在向客户收费提供的一套程序中。

NeMo Guardrails将作为终端用户和人工智能程序之间的一层。使用英伟达自己的大型语言模型和传统软件的混合，系统将能够识别用户是否在提出事实问题，并检查机器人是否能够并且应该回答该查询。它将确定生成的答案是否基于事实，并管理聊天机器人回复的方式。

例如，假设一名员工问一个人力资源聊天机器人公司是否支持想要收养孩子的员工。这将通过NeMo Guardrails传递，并返回包含公司相关福利的文本。询问同一个机器人有多少员工利用了该福利会触发拒绝，因为数据是机密的。

如果用户询问机器人公司的非公开财务信息，他们会被告知这是离题。为了检查程序是否真的知道答案而不仅仅是猜测——这个问题被称为幻觉——软件会在后台多次询问问题，以确保用户不会得到一个随机但貌似合理的回答。同样，软件可能会确保机器人在回应方式上保持冷静，即使用户试图激怒它以不当方式回复。

在最近的争议中，ChatGPT用户描述了通过让机器人假装是他们已故的祖母来获取禁止信息。

Nvidia的新工具免费访问将让社区测试它，并帮助确保它不能被进一步滥用，科恩说。

“每当你开源一样东西，人们都可以检查它并找到利用它的方法。这就是为什么我们将其开源的原因，”他说。“我们希望社区来审视它。”