如果医学人工智能犯了错，责任谁担？WHO公布指南_风闻

　　AI和医生发生“同行分歧”时，怎么办？

　　撰文 | 韦晓宁

　　6月28日，世界卫生组织（WHO）发布指南《医疗卫生中AI使用的伦理和管治》。这份指南有160余页，阐述了AI在医疗领域中的应用、适用的法律和政策、关键的伦理原则和相应的伦理挑战、责任机制和治理框架等，共九章。

　　WHO表示，这是医疗AI领域首份根据道德规范和人权标准制定的综合国际指南。

　　指南由WHO数字卫生和卫生创新与研究团队领导完成，用时两年。同时，WHO与20人专家领导小组合作，确定6项核心原则，以提高在医疗卫生领域使用AI伦理水平。这也是该领域的第一批共识原则。

　　六项核心原则为：

　　1. 保护自治权

　　2. 促进人类福祉、人类安全和公共利益

　　3. 确保透明度、可解释性和可理解性

　　4. 培养责任感和问责制

　　5. 确保包容和公平

　　6. 促进具有响应性和可持续性的AI发展

　　WHO指出，将AI技术用于医疗卫生有着巨大的前景，将应用于医疗护理、卫生研究和药物开发、卫生系统管理和规划、公共卫生及其监测四个方面。综合指南内容，“医学界”整理了部分在医疗领域使用AI可能会出现的伦理问题及其应对措施。

　　AI会不会导致医护人员失业？

　　“如果我们做对的话，30年以后应该是医生找不到工作了，医院越来越少了，药厂少了很多。”2014年11月的世界互联网大会上，阿里巴巴时任董事局主席马云宣布，健康将会成为阿里未来的两大产业之一。

　　在此次发布的指南《医疗卫生中AI使用的伦理和管治》中，WHO多次提到美国的谷歌、脸书和亚马逊，以及中国的腾讯、阿里巴巴、百度等互联网技术公司。相关中国平台向用户提供在线医疗信息等，惠及中国数百万人。

　　阐述AI在临床护理中使用的趋势时，WHO以中国为例，“在中国，远程医疗提供者数量在新冠肺炎大流行期间增加了近4倍。”这能够改善医疗资源紧张、医护人员不足的现状。同时，慢性疾病等类型的患者，也能够借助AI更好地进行自我管理，降低对医护人力资源的需求。

　　将来，会不会如马云所说，医生将找不到工作？《医疗卫生中AI使用的伦理和管治》中，乐观的观点是，AI将减轻临床医生的日常工作负担，让他们与患者相处的时间更多，并专注于更具挑战性的工作；医护人员将履行其他角色，如标记数据或设计和评估AI技术等，因此不会失业。

　　悲观的观点：AI将实现医护人员许多工作和任务的自动化。大量工作使用AI将导致短期内的不稳定，即使创造新工作岗位、增加总体就业，某些领域的许多工作岗位也都会流失，那些无法胜任新岗位的人将会失业。

　　应对措施：

　　几乎所有的医疗卫生工作都要求最低水平的数字和技术熟练程度。有研究指出，在20年内，英国国家医疗服务体系（NHS）90%的工作都需要数字技能。医生必须提高自己这方面的能力，同时更多地与患者沟通使用AI的风险，做出预测、讨论权衡，包括使用AI技术的道德和法律风险。

　　还需要注意的是，对AI系统的依赖可能会削弱人类的独立判断能力。在最坏的情况下，如果AI系统失灵或受损，医护人员和患者可能无法采取行动。所以，应制定强有力的计划，在技术系统出现故障或被破坏时提供支持。

　　实际上，许多高、中、低收入国家目前都面临卫生工作者短缺的问题，WHO估计，到2030年，将有1800万卫生工作者短缺，主要集中在中低收入国家。并且，关于患者的临床经验和知识至关重要。因此在可预见的未来，AI不会取代临床医生的职责。

　　****AI和医生发生“同行分歧”怎么办？****医生自主权如何保证？

　　在医疗护理方面，诊断中，AI在放射学和医学成像领域应用较为广泛，但仍相对新颖，尚未常规应用于临床决策。目前，AI正在评估用于诊断肿瘤、眼科和肺部疾病，并可能通过成像、超声心动图等，实现卒中、肺炎、宫颈癌等疾病的及时检测；可能用于预测心血管疾病、糖尿病等疾病或重大健康事件的发生。临床护理中，AI能预测一些疾病进展和耐药性。

　　在临床护理的某些方面，AI取代人类的判断是有好处的：与机器相比，人类可能做出更不公平、更有偏见、更糟糕的决定。当机器能够更快速、准确、灵敏地执行决策时，将决策交给人类，可能意味着一些患者会遭受可避免的发病和死亡。

　　目前，在医疗卫生领域，决策权尚未完全从人转移到机器。矛盾的是，在AI和医生出现“同行分歧”的情况下，如果医生忽略机器，AI就没有什么价值；如果医生选择完全接受AI的决定，这可能会削弱其权威和责任。

　　比“同行分歧”更甚的情况可能正在出现：AI系统正在取代人类成为认知权威，常规医疗职能可能会完全交给AI。如果不采取适当措施，这将破坏人类的自主权，人类可能既不能够明白AI是如何决定的，也不能够与AI谈判，以达成协商的决定。

　　应对措施：

　　在医疗AI化的背景下，自主意味着人类应该继续完全控制医疗卫生系统和医疗决策。在实践中，应该能够决定是否将AI系统用于特定的医疗决策，以及在适当时对决策进行排序。这能确保临床医生可以推翻AI系统做出的决定，使其“本质上可逆”。

　　另外，AI应该是透明的和可解释的。医疗卫生机构、卫生系统和公共卫生机构应定期公布使用一些AI技术的原因，以及定期评估AI的信息，避免连开发者都无法理解的“算法黑箱”出现。

　　使用AI犯了错，谁来担责？

　　据《日本经济新闻》2018年7月报道，日本政府将完善关于AI医疗设备的一系列规则，规定诊断的最终责任由医生承担：由于AI存在误诊的可能，因此把AI医疗设备定位为辅助设备，基于《医师法》规定“作出最终诊断和决定治疗方针的责任由医生承担”。通过明确这样的责任范围，鼓励厂商进行AI医疗设备的开发。

　　新闻传出时引起巨大争议。此次WHO发布的指南指出，从整体上看，如果基础数据既准确又具有代表性，AI可能会降低误诊率。然而当误诊发生时，由医生承担责任是否合理？

　　WHO的答案是否定的。首先，临床医生不会控制AI技术。其次，由于AI技术往往不透明，医生可能不理解AI系统如何将数据转换为决策。第三，使用AI技术，或是因为医院系统或其他外部决策者的偏好，而非临床医生的选择。

　　指南指出，AI技术的某些特征影响了责任和问责概念，可能会造成“责任缺口”的问题：因为AI会进行自我发展，并非每一步都是人为设定，开发人员和设计师会宣称自己不对其负责任，这样就把伤害患者的风险全都加在离AI更近的医护工作者身上，而这是不合理的。

　　第二个挑战是危害的“可追溯性”，这也长期困扰着医疗决策系统。由于AI的发展涉及到许多部门的贡献，从法律和道德上都很难分配责任。并且，伦理指南常常由技术公司发布，缺乏权威或具有法律约束力的国际标准；监督企业是否遵守自己的指导方针往往是在内部进行的，几乎没有透明度，也没有第三方执行，不具有法律效力。

　　应对措施：

　　如果临床医生在使用AI技术时犯了错误，应该检视他们的医疗培训中是否有人需要承担责任。如果有一个错误的算法或数据用于训练AI技术，责任可能落到开发或测试AI技术的人身上。不过，临床医生不应该完全免除责任。他们不能简单地在机器建议上盖章，忽视自己的专业知识和判断。

　　当AI技术的医疗决定伤害个人时，问责程序应明确制造商和临床医生的相对作用。将责任分配给开发人员，可以鼓励他们尽量减少对患者的伤害。其他生产商，包括药品和疫苗生产商、医疗器械公司和医疗设备制造商，也需要明确自己的责任。

　　当决定在整个医疗系统中使用AI技术时，开发人员、机构和医生可能都在医疗伤害中发挥了作用，但没有一个人是“全责”。在这种情况下，责任可能不是由技术的提供者或开发人员承担，而是由选择、验证和部署该技术的政府机构承担。

　　在指南中，WHO还提及了公众隐私、商业技术公司的责任、算法分配的偏见和误差、机器排放二氧化碳所导致的气候变化等伦理问题。WHO呼吁建立医疗AI治理的框架，在数据治理、私营和公共部门治理、政策观察和示范立法、全球治理等方面提出了建议。

　　“我们的未来，是一场‘不断增长的技术力量’以及‘我们使用它的智慧’之间的竞赛。”指南中，其首席科学家苏米亚·斯瓦米纳坦博士引用了一句史蒂芬·霍金的话。

　　资料来源：

　　1.Ethics and governance of artificial intelligence for health: WHO guidance. Geneva: World Health Organization; 2021. Licence: CC BY-NC-SA 3.0IGO.

　　2.支付宝可挂号还能对医生好差评，一场大颠覆即将席卷而来https://www.sohu.com/a/150369692_119659

　　3. AI犯了错医生来担责日本将制定AI医疗规则_健康界 https://www.cn-healthcare.com/article/20180703/content-505291.html