谷智轩：用AI杀人，以色列可能遥遥领先了

guancha

2024-05-03

大家好，我是谷智轩。很久没和大家聊聊巴以局势了。最近，有外媒曝光了一件吓人的事：长期以来，以色列都在使用（Lavander）来识别和打击加沙的目标，造成了大量平民伤亡。经常看我们节目的小伙伴都知道，我们一直在关注人工智能的发展，不只是技术上的进展，还有在法律和伦理上，人类对于AI的各种争论和探索。我们对于如何利用AI，远远没有形成共识。各国对于AI的立法和管理，还在摸石头过河。实在是没想到，竟然有一个国家，跳过了前面的所有环节，直接到了用AI杀人的阶段。联合国秘书长古特雷斯就此发表声明，表示“深感不安”（deeply troubled）；我只能说，用词过于委婉了。本期《轩讲》，我们就来聊聊以色列用AI杀人这事，究竟有多可怕。

本月初，以色列-巴勒斯坦地区的两家左翼媒体+972杂志和Local Call网站，发布了一份调查报告。他们的记者采访了六名以色列情报官员。这些人都参与了眼下这场加沙战争，而且是亲身参与了利用AI生成打击目标的过程。当然了，他们的名字肯定是不能透露的，以色列军方也否认了他们的说法。报告里的事到底有没有，我没法评价。我只说两点：第一，报告逻辑自洽、细节丰富，而且确实解释了以军在这场战争中的很多行为；第二，有的时候，谎言太离谱，反而可能是真相。

这个报告里讲了个什么故事呢？我给大家总结一下。首先，以色列军方多年以前就在开发可以甄别攻击目标的人工智能。背后的动机简单直白：确认目标的事情，人也可以做，但效率太低。在过去的战争中，要授权击杀单个人类目标，必须先给目标“定罪”。军队肯定不会像法院做得那么细，也没那么讲究原则和程序，但交叉核对证据，证明“这个人”确实是“那个人”，还是要的。确定目标后，再收集他的活动轨迹，制定击杀计划。如果只想干掉哈马斯的高级成员，数量控制在两位数，定罪和定位都不是难事。但以色列不满足于此。高级成员要杀，数以万计的低级成员也要杀。这种五位数以上的击杀名单，情报人员肯定做不了，交给AI，那就省事多了。

那么这个AI由谁来开发呢？这里就要提到以色列著名的8200部队了。插播一小段背景介绍啊。8200是番号，这支部队正式的名称是中央情报搜集部队（Central Intelligence Gathering Unit），成立于1952年，可谓战功赫赫，比如在1967年第三次中东战争的开战首日，截获了埃及总统纳赛尔和约翰国王侯赛因的高保密专线，1985年截获了巴解领导人阿拉法特和“恐怖分子”的电话，等等等等。除了“战绩”之外，8200的另一个招牌，就是它的成员了。以色列是全民兵役制，不管男女，18岁都得服役。而8200有提前摇人的特权，在不到18岁的所有以色列人里面，把智商最高、能力最强、最有潜力的五千号人挑出来，然后干嘛呢？PUA、特训、搞情报。这里面还会选出千人左右，专门开发一些用于作战和情报收集的高科技“小玩意儿”，里面就包括了战场内外使用的人工智能。

8200有一个数据科学与人工智能中心，中心负责人在多个场合都提及他们正在开发目标识别AI，而以色列媒体的报告就引用了他的很多说法。比如说，这类AI的训练流程。把已知的哈马斯和杰哈德成员名单喂给AI，利用一种叫做正样本未标注学习（Positive-unlabeled learning）的机器学习算法，让AI提取他们之间的共同特征。接下来，AI就可以比对这些特征，对所有巴勒斯坦人打分，越是符合特征的，分数越高。最后，情报人员会把样本按照分数排个序，确定下“及格线”，过线的，就是恐怖分子，可以杀。这位负责人在特拉维夫大学讲演的时候，还一再强调，AI只是起到辅助筛选的作用，最后决定杀不杀的，还是有血有肉的人。

可真的到了实践的时候，就完全不是这么回事了。

咱们有句老话，叫“兵贵神速”。AI给出一份名单，还要人来核验，这多浪费时间？去年10月，哈马斯发动袭击，杀了以色列1200人，绑架240人。以色列报之以“铁剑行动”（Operation Iron Swords），军方火速决定，要把哈马斯清除干净，所有成员——不论他们高低贵贱，有多少军事价值——一个不留。然后他们问了AI一个问题：薰衣草啊薰衣草，告诉我谁是哈马斯？

这个名叫薰衣草的AI，生成了一份37000人左右的名单。8200的情报人员花了两周时间，在名单里随机挑了几百个名字，检查了一下是不是真的哈马斯，结论是，薰衣草的正确率达到了90%。军方很满意，当即授权，就按照AI的名单来办。程序上需要人工核验，判断是否击杀？没事，工作人员花上20秒，核验一下目标是男是女，男的杀了，女的留下——决定在我。那还有10%的错误率怎么办？统计误差嘛。谁让这些人具有“哈马斯特征”呢？谁让他们是哈马斯成员的亲戚，或者和哈马斯成员同名同姓、用同一个昵称，或者使用的二手手机，刚巧是一个哈马斯成员用过的？再说了，统计学肯定比人更靠谱。要知道，很多以军士兵都有亲朋好友死在哈马斯手里，他们很容易做出不理性的事情，手里的“误杀”也不在少数。

但问题是，统计学的那些规则、标准，也是人设计出来的。

什么才叫“哈马斯成员”呢？领哈马斯钱的人？还是不拿钱，但帮哈马斯做事的人？或者是帮了哈马斯，但没有实际危险的人？毕竟，哈马斯在加沙执政多年，手底下有一大帮子公务员，配武器的也不少。还有，以前帮过哈马斯，现在不帮了，算不算？这些个定义，是可以人为调整的。实际上，8200在训练AI的时候，使用了一个非常宽泛的定义，喂给AI的数据里面，至少包括了哈马斯政府国内安全部的雇员。

前面我们讲过，AI会根据一个人的“哈马斯特征”来打分，高于“及格线”的才会判定是哈马斯成员。技术人员就可以通过操控“及格线”，来放宽和收窄“哈马斯成员”的范围。根据以色列官员的说法，在战争过程中，AI不断生成名单，以军照单杀人，但有时候，AI生成名单的速度，还跟不上以军杀人的速度。以军需要更多的打击目标，就会把“及格线”调低。这样，机器就会把很多新人加到名单上，比如民防人员和警察，他们有武装，是在帮哈马斯政府，凑合凑合，也能算是“哈马斯成员”。3月底的时候，《耶路撒冷邮报》发了篇报道，说哈马斯好像越打越多了。军方一直估计有3万人，但现在，光是已经打死和打伤的人加在一起都不止这个数，一会儿还这里又出来一堆哈马斯，那里又打死一堆哈马斯，数字根本对不上。我觉得，这里面估计也有“薰衣草”的锅，谁让它速度太慢，还需要靠人手动给名单扩容呢？

这种种的不靠谱，以色列军方心知肚明，而且毫不在意。一切都掩盖在了“战争”的名义之下。他们辩护说：情报机构人力有限，不值得核查低级武装分子上浪费时间；咱们是在打仗，没时间给每个目标“定罪”，你得接受算法有误差，接受杀错人的风险。

这话听着很有道理，和“宁可错杀一万，不可放过一个”，有异曲同工之妙。而且好像还要感谢AI，把错杀率，从万分之九千九百九十九，降到了百分之十，让大规模的“定点清除”成为可能。

这个逻辑的问题，我们等会儿再讨论。退一万步讲，即使接受了逻辑，还有个程度的问题。“薰衣草”的错误率有10%，不代表以色列每炸死10个人，有九个是哈马斯。很多信源的数据都显示，死在以色列炮火下的平民，远超哈马斯武装分子的数量。因为确定要杀谁之后，还有个怎么杀的问题，而这一步，以色列也是大幅仰仗AI的助力。

从目前收集到的信息看，除了“薰衣草”之外，明确在加沙战场上出现过的AI，至少还有三个。第一个叫“福音”（The Gospel），它是专门和“薰衣草”打配合的。“薰衣草”确定要杀谁，“福音”则把这些人身处的建筑物标记出来。第二个叫“爸爸在哪儿”（Where’s Daddy），它负责利用各种监视系统跟踪目标，在对方进入房间的那一刻发出信号。第三个叫“火力工厂”（Fire Factory），负责计算弹药装载量，对数千个目标进行优先级排序，并将其分配给飞机和无人机，再制定出一个空袭时间表。

我们在过去的节目里面讲过，“定点清除”的技术要领，一在信息采集和处理，二在精确和快速的打击技术。这四个AI相互配合，覆盖了“定点清除”的全套流程，大幅提高了杀人的效率。它们具体是怎么做的呢？首先，要确定一个合适的击杀地点。在哪里杀人更容易？当然是目标在家里的时候。对AI来说，它们很容易就能把目标和他的私人住宅关联起来。实际上，加沙的每个人都被标记了对应的住宅，谁住在什么地方，全部在以军的数据库当中，在此基础上，追踪目标归家、离家的轨迹也不困难。除此之外，在民宅里面，反侦察、反打击措施要薄弱许多，目标在家中警戒心也低，简直是理想的杀人场所。

但问题，这些民宅里面，往往不是只有一个人。加沙人习惯一大家子住在一起。爹妈老婆孩子兄弟姐妹，亲朋好友、左邻右舍，一发炮弹下去，就整整齐齐的了。

以军攻击民宅的理由有很多，比如哈马斯就喜欢把窝点藏在民用设施当中，拿平民当挡箭牌，医院、清真寺、学校、联合国设施，大概率都有哈马斯。但这解释不了一个现象：为什么以家庭为单位的伤亡，占比特别高？开战45天的时候，联合国机构公布过一个数据：当时巴勒斯坦方面死亡11078人，有501个家庭，死亡人数大于6人，312个家庭，死亡人数超过10人，至少有6120人，也就是一半以上，属于825个家庭。

这种以家庭为单位的伤亡模式，确实呼应了以色列情报官员的说法：以军在有意识地攻击哈马斯成员的私宅。当然了，这也不算新闻，2014年以色列对加沙的空袭，也做了同样的事情。那次袭击当中，共造成了超过2200名巴勒斯坦人的死亡，其中至少有70次针对私人住宅的袭击，造成606人死亡，比例是27%。而这次提高到一半以上，估计就是AI的“助攻”了。

“薰衣草”生产名单的速度，那就不用说了。“爸爸在哪儿”可以同时跟踪数千个目标，效率也是非同一般。再加上“火力工厂”，不但优化了空袭的效率，而且还大幅降低了弹药的成本。根据美国情报部门的估计，以色列空军在加沙使用的弹药里面，有45%是非制导炸弹，也叫“傻弹”（dumb dombs）。它们比制导炸弹便宜很多，价格要差个几倍，但命中精确度也低，会造成大量的“附带损害”。但有了AI的帮助之后，命中的问题就解决了一大半。比如说，如果他们发现目标住的是高层建筑，就不打了，因为需要用特殊的精确制导炸弹来打穿楼板。那玩意儿太贵了，不值得浪费在低级成员身上。但如果这些哈马斯住在平房里面，那么只要在他们回家后扔个“傻弹”就行了，直接把房子给你平了，不存在什么命中问题。几千美金换一个人头，哪怕是低级成员，效费比也可以接受。

然而，命中问题“解决”了，“附带损害”的问题怎么办呢？

以军设计AI的时候，还考虑过这个问题。AI在做空袭规划的时候，“附带损害”也是一个参数。它会根据建筑物的大小以及登记的居民名单，计算战前居住在此的平民人数，再根据撤离的居民比例，来估算一个建筑物内的即时人数，再做相应的规划。比如说，一栋房子，名单上显示战前住了10个人，根据手机信号测算，小区撤了一半人，那么AI就认为，房子里住了5个人。有时候，算出来的人数，甚至不是整数。

我们光听就知道，这种估算有多不靠谱。战前和战时，根本是两个概念。根据世界银行的数据，加沙地带超过60%的房屋和80%的商业设施都已经被摧毁，几乎全部人口流离失所，这大幅削弱了军队数据库的准确性和AI自动标记住宅的能力。很多时候，战争期间居住的，完全就不是战前的那批人，两者之间也没什么联系。有时候，以军炸了一栋房子，根本不知道房里是好几户人家躲在一起的。在以前的战争里面，情报人员会花大量的时间监视房屋、核实人数，事后还有一道炸弹损害评估程序（Bomb Damage Assessment），简称BDA，检查目标是否死亡，以及造成了多少平民死亡。这一次，为了节省时间，事前事后的步骤，全都省略了，一切都交给了AI和统计学。情报人员对于会死多少，死了多少人，里面包不包括目标，可谓一概不知。他们唯一知道的，就是空军告诉他们，房子被炸了，然后他们再告诉军队，去炸更多的房子。

不过，有一个问题，依然没交给统计学，就是允许“附带损害”的大小。军方会事先给一个授权，杀一个哈马斯，允许多少平民陪葬，这个数字叫非战斗人员伤亡值，简称NCV（Non-combatant Casualty Value）。AI在计算杀谁、怎么杀的时候，就会根据这个标准来。NCV是浮动的，军事价值越高，NCV越大——这是以军自己承认的，对高级哈马斯成员，这个数字可以达到三位数。军队有一套大致的标准，一个旅长配多少人，一个营长配多少人，还会考虑到具体的情况。比如说哈马斯卡桑旅的指挥官艾曼·诺法尔（Ayman Nofal），以军在击杀他的时候，得到的位置情报不是很精确，军方授权的人数是300人。对比一下，当年美军击杀本·拉登，授权的NCV“只有”30。

对于低级哈马斯成员，这个标准还要“弹性”一点。去年10月7日的空袭之后，以军陷入了歇斯底里的状态，只要目标是哈马斯，几乎任何“附带损害”都可以得到批准。反正炸就是了，他们只在乎炸的目标够不够多。有时候，他们知道目标在一栋里面，然后就炸平了四栋楼。整个军队与其说是在作战，还不如说是在泄愤。之后，军队的行为稍微理性了一些，NCV被控制在了15人左右，也就是杀一个普通的哈马斯，可以杀15个平民。有段时间降到5人，但军方发现，这让空袭没法进行，因为只要目标的家人都在家，他们就没法炸屋子，所以又把上限提了上去。再后来，以军整体上减小了攻击低级哈马斯的频率。这客观上降低了“附带损害”，却不是因为以军想降低“附带损害”，而是考虑到弹药经济性。以色列正准备在北部地区和黎巴嫩真主党动手，这开头几波消耗的炸弹，委实有点多了。

由此可见，人工智能辅助下的“自动化”杀人，并没有什么“理性”的优势。AI对于人类干坏事，没有什么限制和纠正作用。相反，它只是让杀戮，变得更有效率。它降低了杀人的经济和道德成本，帮助人类在有限的资源和可承受的道德压力下，杀掉尽可能多的目标。“薰衣草”生成名单，“福音”标记住宅，低级别的情报人员象征性地看一看，复制粘贴到“爸爸在哪儿”，执行目标追踪，“火力工厂”据此分配弹药，制定空袭计划，在目标回家的那一刻，由空军完成击杀。除了最后的击杀外，整个流程，都实现了高度的自动化，而这“最后一步”，可能在不久的将来，也可以由自动化的武器来完成。

我们之前做过一期节目，叫“定点清除”，让网上一大群“乌友”破了大防，直到今天还陷在他们的逻辑谬误中不能自拔，挺可怜的。我们再来复习一下相关专业知识：“定点清除”，Targeted Killing，有时候也叫“斩首行动”，Decapitation Strike，即通过消灭一个组织中的关键人物，来对组织造成破坏。现在，“定点清除”和“斩首”之间，不能再划等号，它有了一个新分支，叫“Broad Hunting”，大范围猎杀。从战场表现来看，这种同时针对数万目标的大规模“定点清除”，已经成为了一种可行的、且经过实践应用的战术。

这是好是坏，尚有争议。

支持的人说：它好过无差别袭击。这次加沙战争持续了六个月，巴勒斯坦方面，伤亡总数超11万；哈马斯武装分子，满打满算有三万多，占比达到30%。和历史上的各种“屠城”相比，是不是要好上很多？AI是在降低“错杀率”啊！

反对的人说：除了“错杀率”，还有“错杀数”。“大范围猎杀”的应用，实际上大幅增加了攻击次数，推高了平民的伤亡人数。而且，70%的错杀率，你觉得可以接受吗？

然后，支持的人又会反驳：如果把技术改进一下，把错杀率降到一半以下，你还会这么说嘛？降到10%以下，1%以下呢？百分之0.000001呢？什么比例，是可以接受的呢？谁能保证不杀错一个？你说人命无价，杀错一个都不行？我们是在打仗，国家利益为重，国民的安全为重。算个总账，“错杀”带来的损失，小于“杀对”带来的利益就可以了。

最后那句话，我直接引用了以色列国防军对“薰衣草”问题的回复。

哲学上的论辩，很难有什么结果。但有一点，我想大家是有共识的：为了剿灭三万多名哈马斯，超过2.4万名巴勒斯坦妇女和儿童死亡，11万人死伤，110万人食不果腹，170万人流离失所，这超过了绝大部分人的道德红线，但凡是有点良知的人，都无法接受。如果没有AI，可能伤亡会更大，但即使有了AI，后果依然如此严重。

所以说，问题并不出在AI身上，该为此负责的，也并非人工智能。战争，是高尚者的墓志铭，卑鄙者的通行证。战场之上，以国之名，滔天的罪恶也能戴上正义的光环。如果杀错人之后，唯一的后果是浪费了弹药，那么AI存在的意义，也只能是减少了弹药的浪费。

从历史经验来看，把人工智能技术引入军事作战是不可避免的。联合国主持了10年的谈判，希望对AI在战场的角色做一点限制，让各国可以更加“负责任”地开发和利用军用AI，但目前并没有多少成果。至少还没有一个国际公约规定，当人工智能判断错误时，谁应该对平民的伤亡和战争的意外升级负责，也没有一个有效机制，防止AI被有心之人滥用，成为排除异己、剥削“他者”的工具。去年2月，第一届“全球军事领域负责任的人工智能峰会”在荷兰举行，中国和美国等60多个国家参加，并签署了《关于军事领域负责任使用人工智能的行动倡议》。以色列是唯一没有签署的与会国家。

所以，巴勒斯坦成千上万条被AI“错杀”的人命，到底该由谁来负责呢？

大家好，我是谷智轩。很久没和大家聊聊巴以局势了。

最近，有外媒曝光了一件吓人的事：长期以来，以色列都在使用人工智能“薰衣草”（Lavander）识别和打击加沙的目标，造成了大量平民伤亡。经常看我们节目的小伙伴都知道，我们一直在关注人工智能的发展，不只是技术上的进展，还有在法律和伦理上，人类对于AI的各种争论和探索。我们对于如何利用AI，远远没有形成共识。各国对于AI的立法和管理，还在摸石头过河。实在是没想到，竟然有一个国家，跳过了前面的所有环节，直接到了用AI杀人的阶段。联合国秘书长古特雷斯就此发表声明，表示“深感不安”（deeply troubled）；我只能说，用词过于委婉了。本期《轩讲》，我们就来聊聊以色列用AI杀人这事，究竟有多可怕。

那么这个AI由谁来开发呢？这里就要提到以色列著名的8200部队了。插播一小段背景介绍啊。8200是番号，这支部队正式的名称是中央情报搜集部队（Central Intelligence Gathering Unit），成立于1952年，可谓战功赫赫，比如在1967年第三次中东战争的开战首日，截获了埃及总统纳赛尔和约翰国王侯赛因的高保密专线，1985年截获了巴解领导人阿拉法特和“恐怖分子”的电话，等等。除了“战绩”之外，8200的另一个招牌，就是它的成员了。以色列是全民兵役制，不管男女，18岁都得服役。而8200有提前摇人的特权，在不到18岁的所有以色列人里面，把智商最高、能力最强、最有潜力的五千号人挑出来，然后干嘛呢？PUA、特训、搞情报。这里面还会选出千人左右，专门开发一些用于作战和情报收集的高科技“小玩意儿”，里面就包括了战场内外使用的人工智能。