医疗AI工具可能犯下危险错误政府能否帮助防范？——《华尔街日报》

医生在接诊时无需再手动记录病历，因为人工智能系统会全程聆听并自动抓取患者症状等信息。图片来源：Doug Barrett/华尔街日报医生们已开始以创新方式运用人工智能与患者沟通并辅助诊断。当前政府正全力制定规范，确保这些技术不会造成危害。

联邦监管机构正为医疗AI应用程序设计新的标签体系，旨在帮助临床医生更易识别这些工具的缺陷与不足。拜登政府提议，此类应用需配备"营养标签"，明确披露其训练方式、性能表现、适用场景及禁忌范围。

这项可能于年底前定案的标签规定，标志着华盛顿首次对人工智能实施新安全要求的具体尝试。医疗科技企业纷纷提出异议，认为该规定可能泄露商业机密并损害竞争，反映出政府监管快速迭代的AI系统面临巨大挑战。

人工智能已深度渗透医疗体系。接诊医生可告别传统笔录，因为AI系统能实时聆听并智能抓取患者症状等信息。AI还能分析健康档案，通过海量病例对比，为诊断或检测方案提供建议。

但临床AI工具也可能存在缺陷。一些病历记录技术被发现生成的报告错误百出，既未使用正确医学术语，又添加了患者并未服用的药物。这些工具还可能基于患者种族或收入水平做出不公正预测，加剧健康不平等现象。部分医院曾依赖AI驱动工具，但后续研究表明这些系统训练数据有限，影响了其精确性。

专攻电子健康档案、云托管等技术服务的Altera Digital Health政府事务副总裁Leigh Burchell表示：“用于训练AI的数据并不总是涵盖所有患者类型。”

拜登政府要求由科技巨头（包括Alphabet旗下谷歌、亚马逊和甲骨文）及众多初创企业开发的医疗软件必须提高信息披露透明度。

美国卫生与公众服务部健康记录技术认证部门负责人Micky Tripathi指出：“这是对系统用户的透明度要求。当前由于黑箱特性，这些工具正遭遇使用阻力。”

透明度原则获得科技公司和医疗系统管理者的广泛支持。但许多人士认为营养标签式披露提案过于严苛，可能抑制行业投资。

坦帕综合医院首席数字与创新官斯科特·阿诺德表示：“食品标签的理念是合理的。但我认为如果走得太远，会给医疗服务提供者、临床医生和护理人员带来更多负担或压力。这反而会适得其反。”

这项营养标签提案由美国卫生与公众服务部下属的国家卫生信息技术协调员办公室（ONC）于4月发布。这个鲜为人知的部门负责认证电子健康记录软件。由于医院和医生在采购前通常需要获得该机构认证，ONC的认证要求实际上发挥着行业监管作用。

根据提案，AI系统的"营养标签"需展示模型的训练测试方法、预期用途及"有效性与公平性"指标。该机构未强制规定标签形式，仅要求通过ONC认证软件向医生、医院管理人员等清晰展示这些信息。

AI开发商可以选择不披露任何信息。但临床医生也会看到这一选择。“我们确实认为空白字段本身就能传递重要信息，“ONC负责人特里帕西表示。

为证明新标签的必要性，ONC列举了广泛使用的AI系统存在问题证据。

例如2019年研究人员发现，医院用于预测患者是否需要额外护理协助的算法存在种族偏见。该算法本应识别需要复杂治疗方案的患者，却学会了标记医疗成本更高的群体。由于历史上黑人患者支出较少，这些高成本患者绝大多数是白人。

在2021年的另一篇论文中，研究人员评估了一个旨在标记败血症发作的人工智能系统。他们发现该模型"对败血症的预测效果很差”，但它已成为"美国医院中最广泛实施的败血症早期预警系统之一”。该模型的设计者Epic Systems公司引用了其他学术研究，表明该工具改善了患者的治疗效果。

虽然尚不清楚营养标签是否能防止此类问题，但支持者表示，这将帮助医生和医院避免这些问题，因为他们将掌握更多关于人工智能系统优势和劣势的信息。

“你可以避免使用不合适或表现不佳的产品，“杜克大学健康创新研究所的临床数据科学家马克·森达克说，该研究所开发人工智能工具，并创建了自己的营养标签版本。“有人可能会对你说，‘我有一个针对这个用例准确率达到90%的模型’，[但]细节决定成败。”

一些人工智能开发者表示，ONC的提案可能会伤害初创公司。他们特别担心描述人工智能系统的训练数据，他们说这可能等同于泄露他们的秘方。

“开发这些算法并验证它们需要数年时间，“硅谷风险投资公司Andreessen Horowitz的普通合伙人朱莉·尤说。她指出，经过认证的健康记录软件的主要参与者，如Epic Systems，也是人工智能应用程序的开发者，可以利用营养标签上披露的信息开发竞争产品。

Epic同样担心其人工智能应用程序被竞争对手复制，在给ONC的评论信中表示：“我们的风险相关信息包含知识产权，可能会被他人逆向工程和复制。”

业内其他人士认为，ONC提案的监管范围过宽，最终将适用于几乎所有与患者记录交互的AI工具。ONC预估该规则将在十年间使开发商承担8100万至3.35亿美元成本。

坦帕医院高管阿诺德表示，医疗系统可能拥有数百种自动化工具，其应用远不止患者护理，还包括排班、计费等任务。他指出每开发一份营养标签都会增加成本：“这些费用会转嫁给我们，最终很可能由患者承担。”

联系记者请致电：[email protected]（瑞安·特雷西）与[email protected]（斯蒂芬妮·阿穆尔）

本文发表于2023年12月5日印刷版，标题为《美国要求AI医疗工具进行信息披露》。