哈佛在跳动的心脏里实现“自动驾驶”：全球首例，秒速抵达漏洞所在，媲美人类医生_风闻

边策 栗子 发自 凹非寺

量子位 报道 | 公众号 QbitAI

我们的心脏，一刻不停地跳。

为心脏做手术也就危机四伏。比如，治疗心脏瓣膜的问题的导管插入术，要求身为医生的人类，手动把导管送到心脏瓣膜的漏点。

手动导航的操作，受到心跳的强烈干扰，稍不小心就会出现差错。

△ 手动导航

但现在，哈佛医学院的研究人员，把导管变成了机器人，可以在心脏里自动驾驶。

完全不用人类医师导航，机器人能自己找到心脏瓣膜的漏点。随着心跳，自动驾驶的道路时刻在变化，可机器人依然能准确抵达目的地。

在整个星球上，这还是第一次。

他们的机器人导管，已经在跳动着的猪心脏里测试过，秒速抵达，表现媲美人类医生。

机器人登上了新一期的Science Robotics子刊。

那么，在心脏这样复杂的环境里，机器人是怎么找到路的？

科学家说，是蟑螂和老鼠给了他们灵感。当然，也少不了机器学习算法。

如何直达心脏瓣膜

一方面，机器人具有计算机视觉处理能力，另一方面还有蟑螂触角一样的触觉，结合这两种感知能力，它在心脏内自动游走，寻找心脏瓣膜泄漏的位置。所以科学家们把它叫做“触觉视觉自主机器人”。

心脏微创手术需要在皮肤上开孔，然后由医生插入导管，靠经验手动操作找到手术位置。而触觉视觉自主机器人为医生省去了手动导航的步骤。

触觉

为了让导管变成体内自动驾驶的机器人，研究人员除了在前端加入摄像头外，还加入了“光须”（optical whisker）。

它就像蟑螂用触角、老鼠用胡须探测物体一样，通过力的大小来计算导管前端与心脏内壁的距离。机器人也可以在心脏里找到自己的方向。只要一直沿着“墙”走。

要想知道机器人在心脏内的运作方式，我们先要介绍它与心脏的两种接触模式：

1、连续接触模式：导管与心壁平行，由于导管的柔韧性，它在心脏跳动时一直与心壁保持接触。

2、间歇接触模式：导管与心壁垂直，此时前端正对心脏内壁组织，通过接触力的大小来计算距离。

在上面的过程中，患者不必担心探测器会损坏心脏，因为它与心脏瓣膜和心室内壁接触的力量很弱，和黄油沾在手上的力差不多。

机器人的触觉依靠的是导管前端与心壁的接触力，以及占空比，即导管和组织接触的时间在整个心跳周期中的比例。

实验表明，接触力的大小与占空比在很大一段范围内是成正比的。

在间歇接触模式下，机器人也会控制接触力不至于过大，机器人导管尖端在与心脏组织接触后会同步移动，防止心脏收缩时被导管刺伤。

视觉

除了触觉，自动导航机器人也要用到视觉。

研究人员设计了一种基于机器学习的图像分类器，可以区分血液、心室壁组织和生物假体主动脉瓣膜。该算法基于感兴趣的特定特征出现的次数，确定这些特征的数量和图像类别之间的关系。

用一组手动标记的医学图像对算法进行训练，2000张照片的只需训练4分钟即可完成。将所得的模型用在7000张测试图像中，正确率能达到了97%。

当触觉视觉传感器横向压在组织上时，组织会在传感器尖端周围变形，覆盖其视野的一部分。导航算法识别图像中组织比例，再调整导管的位置。

用于视觉算法处理、和导管控制的电脑并不需要太高配置。其中用于导管运动控制的电脑配置为Intel Core Quad CPU [email protected] GHz，4GBRAM，另一台用于从触觉视觉传感器获取和处理图像的电脑配置为Intel Core [email protected] GHz，16GB RAM，图像处理速度完全跟得上相机帧率（45帧/秒）。

表现和专家相当

为了评估自动导航算法，研究人员比较了自动导航和远程操作（领域内专家用操纵杆控制）和手动控制（手持导管）三种不同手术方式的结果。

在90次实验中，自动导航成功了89次。自动导航比远程操作速度更快、方差更小，但是比手动控制要慢。

参与实验的研究人员表示，现在他们已经在猪的身上实验成功，进入手术室还需要几年的时间。

​有什么意义呢

首先，就像开头提到的那样，受到心跳的干扰，手动导航并不简单。

除此之外，手术是个辛苦的过程，需要全程保持动作的高度精确。

如果分给机器人一部分任务，医生便可以专注在更加关键的手术步骤上，避免疲惫造成的动作变形，保证手术质量。就像飞机的自动驾驶，解放了飞行员那样。

约翰霍普金斯大学的Russ Taylor教授，也是医疗机器人领域的专家，他说：这是一项重大的成就。

一旦“自动驾驶”导管的技术成熟、投入使用，可能给心脏外科手术带来不小的变革。

另外，虽然现在这项研究是用于心脏，但“在人体里自动驾驶”的做法，还可以有许多其他用处。

团队说，脑血管，气道，胃肠道，脑室系统等等，不同部位的病症，都可以用“沿着墙走”的方法，来做微创手术。

即便是没有血液流动的部位，触觉×视觉的分析方法也不会失色：依然可以用其他类型的传感器，来感知组织接触的情况，然后成像。

领队Pierre Dupont (简称杜邦) 博士有个宏远的设想：

有一天，全世界的自动驾驶手术机器人，可以把数据都汇集起来，一起让机器人变得更强大。就像自动驾驶车那样，地球每个角落的数据都能传回特斯拉，帮技术团队不断优化算法。

最复杂却最简单

自动驾驶的心脏导管，是在一个复杂团队的培育之下诞生的。

论文作者有10位，来自世界各地：美国的哈佛医学院附属的波士顿儿童医院，法国的斯特拉斯堡大学，以及宝岛的台北荣民总医院。

他们之中，既有医学博士，也有擅长机器人控制技术的研究人员，还有负责视觉算法的攻城狮。

领队杜邦博士说：

这是我做过的最难的项目，机器人身体里的程序总是要重写。我还记得，程序猿走出实验室的时候，已经累到完全没力气了。

才终于实现了心脏里的自动驾驶。

虽然，来时路途异常艰辛，但杜邦博士还是觉得：

技术是最简单的部分。要让更多的人用上这样的机器人，政策才是最重要的。

论文传送门：https://robotics.sciencemag.org/content/robotics/4/29/eaaw1977.full.pdf