生成式AI试点项目促使企业纷纷设立防护栏——《华尔街日报》

OpenAI的ChatGPT能承担许多辅助企业的任务，但也存在潜在问题。图片来源：richard a. brooks/法新社/盖蒂图片社企业希望利用ChatGPT等人工智能技术，但又不想承担其全部风险，于是转向内部解决方案和日益增长的供应商生态系统，这些供应商旨在保护可能被输入新AI工具的敏感公司数据。

生成式AI有可能彻底颠覆办公室工作：它有望做到从帮助开发人员编写代码，到搜索和提取电子邮件及其他业务文档中的见解，再到与客户互动的一切。但对于企业技术领导者来说，当务之急是权衡这些巨大能力与技术弊端——可能向竞争对手泄露专有数据、披露电子邮件地址等客户信息，以及开辟网络攻击的新途径。

苹果是最近一批禁止部分员工使用公开版本ChatGPT的大型企业之一，理由是担心使用这些技术可能泄露机密数据。类似的禁令今年早些时候来自摩根大通和威瑞森等公司。这些企业限制措施也紧随周二国会听证会之后，ChatGPT制造商OpenAI的首席执行官萨姆·奥尔特曼在听证会上呼吁对此类技术实施许可和安全标准。

对一些公司而言，将源代码、销售数据甚至会议记录等敏感信息输入聊天机器人存在风险——系统可能从这些专有信息中学习，并在公司外部留存或共享这些数据，或让无权访问的员工获取。

“目前企业的默认反应就是直接禁用ChatGPT，“CalypsoAI创始人兼CEO尼尔·塞雷布里亚尼表示，“但多数情况下，这其实是自下而上的需求，组织内员工都在感叹’现在不用写那么多代码和备忘录了’"。

以CalypsoAI为代表的供应商正形成一个快速增长的初创企业生态圈，专注于帮助企业更安全地应用生成式AI，确保企业防护机制完备并能拦截恶意有害内容。其他初创公司则致力于协助企业整合法律研究、生成医疗记录及营销素材。研究机构PitchBook分析师预测，今年生成式AI企业的风险投资额将达到去年45亿美元的数倍。

“当前部署大语言模型存在极大紧迫性，很多指令直接来自首席信息官层级，有时甚至是CEO和董事会层面，“Arthur AI联合创始人兼CEO亚当·温切尔表示。

温切尔介绍，Arthur AI的Shield产品如同ChatGPT与大语言模型之间的防火墙，可对潜在幻觉内容、冒犯性语言及敏感数据等"进行筛查”。塞雷布里亚尼称，CalypsoAI的Moderator工具会将员工从ChatGPT重定向至公司网站，便于IT管理员审核进出AI模型的提问与应答。

摩根大通在2月份开始限制员工使用ChatGPT，目前正在有限环境中测试ChatGPT和OpenAI的技术，该行全球技术、人工智能和机器学习执行董事Sage Lee表示。

摩根士丹利财富管理董事总经理兼知识管理主管H. David Wu（左）与MosaicML首席科学家Jonathan Frankle；Arthur AI首席执行官兼联合创始人Adam Wenchel；摩根大通全球技术、人工智能和机器学习执行董事Sage Lee；以及Work-Bench Ventures的Daniel Chesley本周在纽约市参加由Work-Bench主办的小组讨论。图片来源：Belle Lin / 《华尔街日报》Lee本周在纽约市由Work-Bench Ventures主办的小组讨论中表示，该行可以预见生成式AI在聊天机器人、代码生成以及为顾问提供通话记录和新闻摘要以告知客户方面的应用。但首要目标是数据安全。

“我正在与第一、第二、第三道防线合作，考虑真正的声誉风险和操作风险，”Lee说。“我们目前的重点确实是建立正确的基础设施，并确保我们引入该基础设施的数据集得到安全保护。”

摩根士丹利表示，其财富管理部门使用OpenAI大型语言模型的私有版本为财务顾问构建了一个聊天机器人服务，OpenAI不保留银行的任何数据。财富管理现场主管Vince Lumia表示，该行现在有数百名顾问提供反馈以使该工具更加精确。

摩根士丹利财富管理部门董事总经理H. David Wu表示，作为银行，该机构更倾向于"收购并整合技术而非自建”。负责领导集团知识管理和生成式AI战略的吴先生也在Work-Bench Ventures专题讨论会上发言。

吴指出，在评估第三方技术时，即使是生成式AI领域，“我们的责任是观察市场动态，了解有哪些创新，并判断’是否存在已掌握这些技术并解决我们尚未攻克难题的团队’，同时确保采用的方式能让监管机构放心”。

芯片制造商英伟达——生成式AI对算力巨大需求的受益者——近期发布了NeMo Guardrails工具，旨在帮助开发者建立规则限制用户对大语言模型的使用，例如限制特定话题、检测错误信息及阻止恶意代码执行。

Forrester Research专注于AI治理的副总裁兼首席分析师Michele Goetz表示，具备技术资源或预算的企业可直接与OpenAI等大语言模型开发商合作，构建封闭式IT环境以防止数据泄露。

Goetz指出，对于仅将技术用于营销内容等有限场景的小型机构，这种投入难以获得回报。即便存在供应商、大语言模型开发商或微软、谷歌提供的多重安全保障，采用生成式AI的决策仍取决于首席信息官对承担一定程度风险的意愿。

“我们在云计算领域也看到了这一点。人们花了一段时间才对云服务提供的安全参数建立起信心，”戈茨说。“这实际上取决于一个组织及其首席信息官和高管领导者的决定，他们需要表态：‘我要么接受这些条款，要么不接受。’”

联系贝尔·林，请发送邮件至 [email protected]