特斯拉的自动驾驶可能拯救数百万人的生命，但它首先会导致一些人死亡 - 彭博社

2018年5月，在加利福尼亚州拉古纳海滩发生了一起非致命的事故，涉及一辆处于自动驾驶模式的特斯拉和一辆无人驾驶的警车。

来源：拉古纳海滩警察局/AP在他生命的最后一天，杰里米·班纳在黎明前醒来，准备早上的通勤。他爬进他的红色特斯拉Model 3，沿着佛罗里达大沼泽地的边缘向南行驶。沼泽和农田在绿色的模糊中飞速掠过。

班纳在方向柱上轻轻按下一个杠杆，响起了柔和的铃声。他激活了市场上最复杂和有争议的自动安全功能：特斯拉自动驾驶。它是一个计算机系统，可以在没有驾驶员输入的情况下执行正常高速公路驾驶的所有功能。当计算机控制时，汽车可以加速、变换车道、驶出出口，并且——如果它发现前方有障碍物——刹车。

刊登于 彭博商业周刊，2019年10月14日。立即订阅。照片插图：731：照片：美联社照片特斯拉公司旨在通过制造世界上第一辆自动驾驶汽车来主导全球汽车市场，并认为自动驾驶是关键的第一步。客户非常喜爱它。他们在自动驾驶模式下行驶了超过15亿英里，常常挑战软件的极限。尽管用户手册警告驾驶员要始终密切监督汽车，但这并没有阻止一些人阅读书籍、打盹、弹尤克里里或发生性行为。大多数时候，汽车能把他们送到目的地。

但在三月的那个早晨，Banner的轿车未能发现前方四车道公路上横穿的拖车。Banner本人也没有注意到，显然他的注意力分散了。他以68英里每小时的速度撞上了拖车的侧面，他的车顶像沙丁鱼罐头一样被削掉。50岁的三位孩子的父亲当场死亡。

计算机错误与人类错误看起来并不相同。自动驾驶有着闪电般的反应能力，注意力从不减弱，但有时却未能发现路径中的危险。这种疏忽似乎在自2015年引入自动驾驶以来的五起已知致命事故中发挥了作用。事实上，Banner的事故与一起早期事故惊人相似。去年八月，Banner的遗产根据佛罗里达州的错误死亡法起诉特斯拉。遗产的论点是一个简单的产品责任索赔：特斯拉承诺提供安全的汽车，却交付了一辆危险缺陷的汽车。

但自动驾驶与历史上几乎所有其他消费品不同，这种不同预示着我们在机器人时代到来时将面临的不安问题。特斯拉的华丽首席执行官埃隆·马斯克表示，这项技术拯救了生命，众多特斯拉车主也提供了他们自己发现危险和避免碰撞的证词。（他们还有YouTube视频来证明这一点。）可能双方都是对的，计算机正在杀死一些本可以活下来的司机，但它们也在拯救更多人的生命。在未来几年，社会——特别是监管机构和法院——将不得不决定这是否是一个可以接受的权衡。

这个问题不再是学术性的。马斯克决定将自动驾驶技术交给尽可能多的人，这相当于一个巨大的实验，在全球的高速公路上展开。

当奥马尔·卡齐在洛杉矶的405号州际公路上向北行驶时，我坐在副驾驶座上，他双手都离开了方向盘。我们在美国最 繁忙的高速公路上以大约50英里每小时的速度行驶，卡齐的黑色Model 3的方向盘稍微向左转，保持车辆在缓缓弯曲的车道中居中。“这就像洛杉矶的高峰时段交通，对吧？”26岁的软件工程师卡齐说。“这简直完美。”

特斯拉拥有大量忠实粉丝，其中许多人富裕、痴迷科技且为男性。卡齐非常接近这个原型。他的推特账号 @tesla_truth 是对马斯克崇拜的无底源泉。在我们八月见面之前，他曾给马斯克发邮件，提醒他并鼓励他与我交谈。这位亿万富翁首席执行官拒绝接受本故事的采访，但在同一天回复了他的粉丝。“你的推特太棒了！”他说，然后加了一句警告：“请小心记者。他们会甜言蜜语，然后用棒球棍打你。”马斯克在消息中抄送了我。特斯拉也拒绝发表评论。

卡齐在特斯拉洛杉矶办公室外的充电站与我见面，附近矗立着一枚马斯克的SpaceX火箭，像一座工业方尖碑。卡齐留着一天的胡茬，穿着蓝色的耐克运动鞋。他立即向我展示了实验性的智能召唤功能，当时仅对一小部分特斯拉的测试者开放。（卡齐是在推特上恳求马斯克后获得的；该功能在九月向普通客户推出。）他按下手机上的一个按钮，他的车从停车位驶出。卡齐看着它穿过停车场，朝他驶来。“这还没什么用——还没有，”他说，露出微笑。但他非常喜欢展示这个技巧，以至于有时会在停车场徘徊，等待观众。

智能召唤提供了一个关于马斯克所承诺的无驾驶未来的微小 glimpse，但对于公路驾驶，自动驾驶是目前最接近的。特斯拉表示，这项技术尚不够可靠，无法让人类分心，即使是一秒钟，因此要求他们保持双手在方向盘上。由于大多数美国州仍在 figuring out 他们将如何处理无驾驶汽车，这也具有法律目的。对于州监管机构来说，自动驾驶只是一个先进的驾驶辅助程序——基本上是升级版的巡航控制。自动驾驶尚不能处理高速公路以外的功能，例如交通信号灯和停车标志。但在过去四年的道路上，它逐渐承担了更复杂的任务：平稳并入、避免切入的车辆，以及从一条高速公路导航到另一条高速公路。

“它不能完美地自己驾驶，但软件的进步速度就像——每隔几周你就会得到一次更新，汽车的驾驶变得更像人类。这非常诡异，”Qazi说。几分钟后，一辆银色轿车切入我们的车道，汽车平稳地刹车让它进来。“看到那个了吗？”他问。

并不是说人类驾驶员设定了很高的标准。在洛杉矶，我与Qazi见面的那天，一名非法街头赛车手死亡，当他的马自达撞上了一辆停放的卡车；一名摩托车手致命撞击了一辆故障的面包车；还有一名骑自行车的高中三年级学生在汽车拖行了1500英尺后重伤，然后逃离现场。

事实上，驾驶是大多数成年人所做的最危险的事情之一。去年造成了 40,000 名美国人死亡，全球有 140 万人 死亡。然而，我们对此却相当自满。1974年，以节省燃料为名，美国将高速公路限速设定为每小时55英里。一项研究发现，这一变化在第一年减少了至少3000起高速公路死亡事故。但人们喜欢快速驾驶，国会后来取消了这一限制。几年前，交通死亡人数开始缓慢上升，专家将这一现象归因于智能手机的干扰。尽管如此，我们仍然驾驶、发短信并驾驶。

无论它们有什么缺陷，计算机不会醉酒、疲倦、生气，或在高速公路上驾驶时感到无法抑制的冲动去查看Instagram。自动驾驶承诺保留我们以汽车为中心的生活方式，但消除估计94%由人为错误造成的事故。从这个角度来看，自动驾驶汽车可能是与青霉素和天花疫苗同类的救命工具。

Qazi已经做了计算：他说，自动驾驶汽车将来每天将拯救3000条生命。按照他的逻辑，任何阻碍这一进展的人都沾染了血腥。“想象一下，有人延迟软件一天，”他说。“你真的会导致很多人死亡。”

在班纳致命事故发生不到两个月后，马斯克邀请了大约100名投资者和分析师来到特斯拉位于帕洛阿尔托的总部，在一个宽敞的会议厅里迎接他们。马斯克出生并成长于南非，在硅谷赚了一大笔财富，然后开展了一系列大胆的项目：商业火箭、高速隧道、脑植入物、电动汽车。他的许多崇拜者认为他是一个改变世界的远见者；而他的敌人则认为他是一个夸夸其谈的伪君子。在那个四月的早晨，马斯克偶尔打断与他同台的特斯拉科学家，并自由地思考，讨论诸如生活是否可能是计算机模拟等问题。

特斯拉的股票已经下跌了几个月。尽管交付了全球最畅销的电动汽车——Model 3，但公司仍远未盈利，马斯克很快将被迫从投资者那里筹集更多资金。在长达2个半小时的演示过程中，马斯克将投资者的注意力引向一个新的焦点：打造第一款真正的无人驾驶汽车。他表示，今天路上的汽车将在几个月内能够在当地道路上使用自动驾驶。到2020年某个时候，它们将不再需要人类监督，并可以在空闲时间开始作为无人驾驶出租车赚钱。

“购买除特斯拉以外的任何东西在财务上都是疯狂的，”马斯克说，双手一摊。“在三年内，这就像拥有一匹马。”

马斯克的时间表对任何关注自动驾驶汽车业务的人来说都显得特别大胆。大约三十家公司，包括通用汽车、戴姆勒和优步，正在竞相开发这项技术。许多观察者认为，最强的竞争者是Waymo LLC，这家谷歌的分拆公司已经在这个问题上工作了十多年。它们都还远未向公众销售无人驾驶汽车。

马斯克告诉聚集的投资者，特斯拉将超越所有人，这得益于已经在路上行驶的超过500,000辆启用自动驾驶的特斯拉。尽管他没有使用这些词，马斯克将自动驾驶描述为一种粗略草稿，这种草稿将逐渐变得更加多功能和可靠，直到实现真正的自主驾驶。

现在向客户发布仍未完成的软件，并希望在此过程中解决bug并增加功能，当然是硅谷通常推出智能手机应用和视频游戏的方式。但这些产品不会致人于死。Waymo、通用汽车和其他公司也有粗略草稿，但它们仅安装在几百个测试模型中，部署在全国几个精心挑选的社区中，并几乎总是由专业安全驾驶员监督。安全是一个痴迷的话题，尤其是在去年一辆优步测试车撞倒行人之后。通用汽车的原型车在旧金山的丘陵街道上以最高35英里每小时的速度爬行。

另一方面，马斯克正尽可能快地将他的粗略草稿交到消费者手中。这使得特斯拉工程师能够从客户那里收集数TB的数据，并利用这些信息根据现实世界的条件来完善自动驾驶软件。即使不是在自动驾驶模式下的特斯拉也在贡献：它们默默地将人类驾驶员的选择与计算机可能做出的选择进行比较。每隔几周，特斯拉就会完成一个新的改进版自动驾驶，并将其上传到汽车中，让卡齐和其他粉丝感到高兴。

“每个人都在不断训练网络，”马斯克在帕洛阿尔托说。他称这种良性循环为“舰队学习”，将其与谷歌搜索引擎在每年处理的1.2万亿次查询中不断改进的方式进行比较。他宣称，不久的将来，软件将变得如此优秀，司机们将开始拆卸汽车的方向盘并将其扔掉。

当摩根士丹利的一位分析师向马斯克询问自动驾驶的安全记录时，他迅速转移话题，谈论人类驾驶的危险以及技术解决这一问题的潜力。他将汽车比作由人类操作员控制的老式电梯。“定期，他们会感到疲倦、喝醉或其他什么，然后在错误的时间转动杠杆，导致某人被切成两半，”他说。“所以现在你没有电梯操作员。”

考虑到生死攸关的风险，马斯克有时将无人驾驶汽车视为一种正义的事业，这并不令人惊讶。他曾说，让自动驾驶不上市将是“道德上不可接受的”。但他和他的追随者并不是唯一这样说的人。第一位在自动驾驶中遇难的美国司机是约书亚·布朗，他是来自俄亥俄州的海军退伍军人，像班纳一样，也撞上了一辆正在过路的半挂车。在2016年的事故后，他的家人发表了一份声明，基本上支持特斯拉的道德计算。“变革总是伴随着风险，”他们写道。“我们的家庭为我们的儿子在未来高速公路安全方面产生如此积极的影响而感到安慰和自豪。”布朗实际上已成为马斯克事业的殉道者。

直到司机像电梯服务员一样消失，马斯克表示，自动驾驶是最好的选择：拥有与人类司机相同的安全性，加上额外的计算机辅助层。但自动化可能有两面性。当我们将大部分——但不是全部——责任交给计算机时，我们的思维会游离。我们失去了对计算机应该做什么的追踪。我们的技能会生疏。航空史上充满了因人类过度依赖小写“a”自动驾驶而导致的错误。曾经有两名西北航空的飞行员完全走神，以至于他们错过了明尼阿波利斯，偏离了100英里。

“这就是人性，你的注意力会漂移，”前海军战斗机飞行员、杜克大学普拉特工程学院教授的米西·卡明斯说，她希望将自动驾驶从市场上撤下。谷歌的衍生公司Waymo开发了一种类似自动驾驶的系统，但在六年前放弃了。它表示，太多司机在发短信、化妆和打瞌睡。

与此同时，计算机在司机最不期望的时候可能会出错，因为它们发现最具挑战性的某些任务对人类来说却是小菜一碟。任何有知觉的成年人都能区分良性道路特征（高速公路立交桥、路标、停在路肩的汽车）和危险威胁（阻挡行车道的拖车）。这对一些世界上最先进的机器视觉软件来说出奇地困难。

特斯拉一直抵制对自动驾驶设置限制，这样虽然会使其更安全，但也会降低便利性。该公司允许司机将自动驾驶的巡航速度设置在当地限速之上，并允许他们在汽车检测到车道标记的任何地方启用自动驾驶，尽管手册上说其使用应限制在有限通行的高速公路上。

奥马尔·卡齐摄影师：莉兹·库巴尔为《彭博商业周刊》拍摄对于那些想要测试汽车极限的人，马斯克本人提供了调皮的鼓励。当他在 60分钟节目中向莱斯利·斯塔尔展示Model 3时，他做了手册警告的正好相反，开启了自动驾驶并 放开了方向盘。然后在五月，随着一段自动驾驶色情视频的病毒传播，马斯克以一条 开玩笑的推文回应：“结果发现使用自动驾驶的方式比我们想象的要多。”卡齐说他和前女友曾在自动驾驶时亲吻。他尽量保持一只眼睛盯着路。

考虑到自动驾驶现在已经有 超过15亿英里的行驶记录，确定其安全性应该很简单。马斯克声称使用自动驾驶的安全性大约是手动驾驶的两倍，但到目前为止，他还没有发布数据来证明这一说法，也没有提供给第三方研究人员。特斯拉披露了 季度自动驾驶事故率数据，但安全专家表示，由于缺乏关于这些事故发生条件的更多背景信息，这些数据是无用的。一项保险行业研究对特斯拉事故索赔数据的研究大多没有结论。

在布朗2016年的事故后，国家公路交通安全管理局调查了自动驾驶系统，并发现没有召回的理由。它的结论部分基于一个发现，即安装了自动驾驶系统的特斯拉汽车的事故率比没有安装的低40%。但这基于一系列可疑的计算。虽然特斯拉提供了44,000辆汽车的里程和碰撞数据，但除了5,700辆外，其他车辆的关键数据缺失或矛盾。就在这小组中，安装自动驾驶系统的车辆的事故率实际上更高。这些缺陷直到马里兰州的独立统计顾问兰迪·惠特菲尔德今年指出时才浮出水面。NHTSA表示它支持这一发现。

评估自动驾驶系统或完全自主技术的问题之一在于，社会对安全的容忍程度并不明确。机器人是否应该在上路之前做到完美，还是仅仅比普通人类驾驶员更好？“人类对机器缺陷造成的伤害或死亡几乎没有容忍度，”吉尔·普拉特，丰田汽车公司的自主研究负责人，在2017年的一次演讲中说。“这需要多年的机器学习，以及比任何人记录的模拟和现实世界测试更多的里程，才能达到所需的完美。”

但如此高的标准可能会悖论地导致比较低的标准更多的死亡。在一项2017年兰德公司的研究中，研究人员尼迪·卡尔拉和大卫·格罗夫斯评估了500种不同的假设场景来开发这项技术。在大多数情况下，等待几乎完美的无人驾驶汽车的成本，与接受那些仅比人类稍微安全的汽车相比，涉及数万条生命。“那些等待几乎完美的人应该意识到，这并不是没有代价的，”卡尔拉说，他是一位机器人专家，曾在国会作证关于无人驾驶汽车政策。

她论点的关键在于对汽车学习方式的洞察。我们习惯于将代码视为人类程序员编写的一系列指令。这是大多数计算机的工作方式，但特斯拉和其他无人驾驶汽车开发者使用的计算机并非如此。识别自行车并预测它将要去的方向实在太复杂，无法简化为一系列指令。相反，程序员使用机器学习来训练他们的软件。他们可能会向软件展示成千上万张不同角度和多种背景下的自行车照片。他们也可能会展示一些摩托车或独轮车，以便让它学习区别。随着时间的推移，机器会自行制定解释所见事物的规则。

他们的经验越多，这些机器就变得越聪明。卡尔拉认为，这正是将自动驾驶汽车留在实验室直到它们完美的一个问题。如果我们真的想最大化拯救的生命总数，她说，我们甚至可能在自动驾驶汽车仍然比人类更危险时就将它们上路，以加快它们的教育。

在社交媒体上，特斯拉司机似乎在打盹的视频和照片成为一种固定的现象。来源：Reddit即使我们建造了一辆完美的无人驾驶汽车，我们又如何知道它呢？唯一确定的方法就是将其上路。但由于致命事故在统计上是罕见的——在美国，大约每行驶8600万英里就发生一起——所需的测试量将是令人难以置信的。在另一篇兰德论文中，卡尔拉估计一辆自动驾驶汽车必须行驶2.75亿英里无故障行驶，才能证明其致死率不高于人类司机，这个距离需要100辆测试车在不间断驾驶超过12年的情况下才能覆盖。

考虑到这一切，马斯克同时改进和测试他的粗略草案的计划，利用真实道路上的常规客户作为志愿测试飞行员，听起来并不那么疯狂。事实上，可能没有办法在不让大量司机面临机器人死亡风险的情况下实现自主驾驶的安全提升。他允许自动驾驶加速并在未经批准的道路上运行的决定也有其逻辑。每当司机从计算机手中夺回控制权以避免事故时，这都是一个潜在的可教时刻——一个让软件学习不该做什么的机会。这是一个经过计算的风险，而联邦监管机构习惯于监测机械缺陷，可能对此评估准备不足。

美国已经有一个测试可能拯救生命但也可能有致命副作用的产品的模型：分阶段的临床药物试验。卡内基梅隆大学的哲学教授亚历克斯·伦敦是呼吁汽车监管机构尝试类似方法的人之一，允许新技术分阶段上路，同时密切监测其安全记录。“即使我的提议不是最好的提议，我也可以告诉你什么是最糟糕的提议，”他说。“最糟糕的提议是相信设计系统的人的话，尤其是当他们试图向你推销它时。”

在我与卡齐的最后一次乘车中，我们驱车前往兰乔帕洛斯维德斯，穿过起伏的棕色山丘和俯瞰太平洋的悬崖。我们并不在限速公路上，但卡齐再次无视手册，开启了自动驾驶。汽车表现得很好，大部分时间。

当道路沿着陡峭的悬崖行驶时，我们遇到了一位朝同一方向骑行的自行车手。特斯拉正确地将他识别为骑自行车的人，并开始超越他。在它并排行驶之前，Qazi 刹车了，让那个人先驶入更宽的路段，然后我们再经过。他说他希望电脑也能这样做，但他不愿意去验证。

但 Qazi 似乎已经接受了一个统计上的必然性，即随着特斯拉在世界道路上的普及，自动驾驶将会有更多的致命事故。“最大的公关噩梦还在前面，”他在我们分别之前告诉我。“通往目标的路只有一条。穿越雷区。” —与 Dana Hull 和 Ryan Beene 合作