Facebook如何打击仇恨言论 - 彭博社

插画师：Kurt Woerpel 为彭博商业周刊

去年夏天，来自柏林的反仇恨言论活动家约翰内斯·巴尔道夫收到了来自一个意想不到地方的求助请求：Facebook公司。在遏制极端主义信息传播方面，巴尔道夫习惯于将这个巨大的社交网络视为问题的一部分。现在，它请求他和其他活动家充当一个更温和、更友好的在线版本的昆汀·塔伦蒂诺的纳粹猎杀小组无耻混蛋。他们的任务是想出一个社交媒体活动，可能会让德国人对涌入的假新闻和右翼宣传更不易上当，这些宣传将欧洲日益增长的移民和难民人口作为替罪羊。

36岁的巴尔道夫和他在非营利组织阿马德乌·安东尼奥基金会的团队专注于一种被称为“反叙事”的深奥互联网艺术。基本思想是利用极端分子使用的相同在线工具，但以削弱他们仇恨信息的方式。在一天的头脑风暴会议中，团队想出了一个微妙嘲讽那些将少数群体归咎于日常生活中琐碎挫折（如拥挤的地铁车厢）的人们的表情包。

他们发布了日常挫折的图片——糟糕的发型，一部破裂的iPhone——并附上短语Kein Grund, Rassist zu werden（“没有理由成为种族主义者”）。没过多久，互联网用户开始贡献他们自己可能荒谬地引发偏见的场景照片。这个标签开始在Facebook、Instagram和Twitter上流行。巴尔道夫说这“有点有趣”。这也是一个很好的示范，说明Facebook认为社交媒体可以如何对抗它常常被指责传播的恶毒言论。

反叙事是Facebook应对在线极端主义计划中一个鲜为人知但重要的元素。自唐纳德·特朗普当选以来，以及西欧和亚洲右翼反移民政党的崛起，这一问题变得更加紧迫。在德国，Facebook拥有2900万用户，立法者最近提出了立法，要求互联网公司在24小时内删除被标记为仇恨言论的内容。拟议的罚款为5000万欧元（5560万美元），对于未能迅速采取行动的高管，罚款高达500万欧元。这一切发生在Facebook与欧洲监管机构的关系日益紧张之际：5月18日，欧盟反垄断负责人对该公司处以1.1亿欧元的罚款，原因是其对2014年收购的误导性陈述。

尽管花费数百万美元并在全球雇佣大量承包商，社交媒体公司往往无法快速删除仇恨帖子。极端分子在旧账户被关闭后迅速建立新账户，恶劣内容很容易漏网。“我们每月审核超过1亿条内容，”Facebook首席执行官马克·扎克伯格在2月16日的页面上写道。“即使我们的审核员99%的判断都是正确的，随着时间的推移，这仍然是数百万个错误。”对于直播视频帖子，漏网的可能性尤其高。今年4月，一名泰国男子涉嫌直播其孩子的谋杀，另一名男子在克利夫兰上传了自己杀人的视频；这两个视频都持续可访问了数小时。对此，Facebook宣布将再雇佣3000人来监控内容。即便如此，可能仍然不够。

巴尔道夫，一位获得Facebook资助的受益者说：“外面有太多可怕的东西。” “社交媒体也可以是教育的工具。”摄影师：法比安·布伦内克为《彭博商业周刊》拍摄这就是为什么公司希望像巴尔道夫这样的活动家采用创新技术来帮助从源头攻击极端主义和仇恨。去年，Facebook首席运营官雪莉·桑德伯格前往柏林宣布了一项名为在线公民勇气倡议（OCCI）。该项目最初获得100万欧元的支持，向反极端主义组织分发小额资助和广告信用，旨在帮助活动家制作反叙事和反仇恨活动。

100万欧元对于Facebook来说可能看起来微不足道，但对于那些通常在紧缩预算下运作的反叙事从业者来说意义重大。在2016年的一次试点中，一项Facebook基础的活动预算仅为3750美元，却触及了超过67万人。（Facebook表示，自桑德伯格宣布以来，它已向OCCI提供了额外资金，但不愿透露具体金额。）巴尔道夫说：“外面有太多可怕的东西。”他曾在德国曾流行的社交网络StudiVZ上帮助警方打击仇恨言论。“社交媒体也可以是教育的工具。”

Facebook对反叙事的投资完全符合扎克伯格在2月份发布的新议程。这位33岁的联合创始人表示，他希望Facebook改变社区的性质——不仅仅是在网上，也包括现实世界。他希望这些社区更加安全、包容、关怀、信息更丰富，并且更加积极参与公民事务。这正是Facebook过去试图与之保持距离的社会工程。反叙事提供了一个首次机会，看看扎克伯格的新愿景可能如何实现。

虽然Facebook在过去十年中曾尝试鼓励反叙事的方法，但它在2015年2月开始了一项更系统的推动，恰好是在白宫关于遏制暴力极端主义的峰会之后。在此次活动中，奥巴马总统向硅谷的代表施压，要求他们采取更多措施来打击恐怖主义。响应这一号召，Facebook开始举办学生竞赛和为期数天的黑客马拉松，以开发数字工具来反击在线仇恨。早期的努力效果有限，因为出现的项目往往在学期结束或黑客马拉松结束后就停止了。

然后，在2015年夏天，Facebook发现自己身处德国的漩涡中心。随着数十万难民逃离叙利亚和阿富汗的内战，在线仇恨事件的数量激增。在某些情况下，在线仇恨直接导致了现实世界的暴力。那年八月，一群松散的纳粹分子、右翼足球流氓和反伊斯兰运动Pegida的成员利用Facebook煽动针对 海登瑙的难民庇护所的示威活动，海登瑙位于德累斯顿附近。三夜的暴力冲突导致超过30名警察受伤。

因此，德国司法部长海科·马斯开始威胁要对Facebook处以罚款，因其助长仇恨言论，而总理安格拉·默克尔在联合国的午餐会上与扎克伯格对话，质疑他公司在此问题上的表现。“我们需要做得更好，”他在无意中被直播麦克风捕捉到的评论中告诉她。几个月后，他在柏林的一次市政厅式活动中对人群表示，“我们听到了这个信息，清晰而响亮”，并且“仇恨言论在Facebook和我们的社区中没有立足之地。”

根据熟悉其高管当时思维的人士，该公司希望被视为积极主动，因此桑德伯格宣布了OCCI。计划是找出哪些技术可能最有效，然后帮助成千上万的活动家利用这些知识制作更多、更好的反叙事活动。该项目是全球性的，但毫无疑问桑德伯格选择在柏林宣布该计划的原因。

要弄清楚哪些反叙事效果最好，了解具体要反对什么是有帮助的。因此，Facebook与国际激进化与政治暴力研究中心（位于伦敦国王学院）合作，逆向工程极端分子的数字宣传和招募工作。该中心负责人彼得·诺伊曼表示，最大挑战是弄清楚内容的受欢迎程度（通过分享或点赞来衡量）与实际行为变化之间的联系。在大多数情况下，仇恨言论对看到它的人没有影响。但对于少数人来说，例如，接触到伊斯兰国内容可能会导致对该恐怖组织的日益钦佩。甚至更小的一部分人可能会被激励前往叙利亚或实施攻击。

反叙事的样子

“没有理由变得种族主义”微妙地嘲讽那些将日常生活中的平凡挫折（如拥挤的地铁车厢或破裂的iPhone屏幕）归咎于少数群体的人。

极端对话，一部纪录片系列，跟随那些在放弃激进意识形态或应对暴力后果后重新融入社会的个人。

卡通片 普通穆罕默德 鼓励年轻穆斯林质疑极端主义观点，例如伊斯兰教要求女性服从男性的观念。

ExitUSA，一个由非营利组织“仇恨后的生活”运营的项目，制作了这个视频（仇恨之后的生活），旨在帮助对自己信仰产生怀疑的美国白人至上主义者。

诺伊曼表示，这与任何推销消费品的病毒式社交媒体活动的运作方式相同，反恐人员可以从广告行业中学习。“我们应该把它看作是在销售可口可乐，”他说。“但人们总是试图重新发明轮子，因为这与恐怖主义有关。”

社交媒体的作用有限。以一个著名的运动为例，它早于Facebook的反叙事努力： #带回我们的女孩。这个标签——常常手写在标牌上并在自拍中展示——在2014年4月尼日利亚恐怖组织博科圣地绑架276名来自奇博克村的女学生后的三周内使用超过100万次。米歇尔·奥巴马和女演员萨尔玛·海耶克等名人帮助推动了这一表情包，该运动激励了在尼日利亚首都阿布贾、伦敦和洛杉矶的示威活动。根据一些用于评估在线营销的指标，它是一个非凡的成功。然而，是否存在该运动与尼日利亚政府最终谈判释放约100名女孩之间的任何联系则不太明确。这个标签显然没有减缓或削弱博科圣地。

这就是为什么巴尔道夫对表情包保持怀疑态度，即使他正在努力创造它们。他说，更有效的是一种更直接但更困难的技术：利用Facebook和其他社交媒体识别并与那些面临右派团体影响的年轻人互动。除了推广像“没有理由成为种族主义者”这样的病毒式活动，巴尔道夫和他的同事们还在社交媒体上寻找互联网用户可能向右派极端主义漂移的迹象。然后，他们试图在极端主义团体有机会这样做之前与他们互动。通常，这更多的是提供情感支持或归属感，而不是参与意识形态辩论。“这并不性感，”巴尔道夫说。“这很无聊，整天坐在电脑前寻找人。”

Facebook资助了另一个组织，位于伦敦的 战略对话研究所，以帮助运营OCCI。它进行了一项关于使用社交媒体接触有风险加入暴力团体的人的最有前景的实验之一。ISD研究人员使用流行的Facebook广告工具识别出154名有风险加入ISIS或白人民族主义团体的人。这些工具允许营销人员根据亲和力群体、设备类型、年龄、性别和其他因素来定位个人。ISD利用它找到与仇恨团体相关的成员，然后通过查看账户照片以及帖子内容和语气来细化名单。仅仅是极端政治或宗教团体的成员是不够的。研究人员希望找到倡导暴力或点赞那些倡导暴力的帖子的人。

使用一个已经停用的Facebook工具，该工具允许用户付费联系非好友，研究人员随后向这些成员发送了来自曾经极端分子的消息，这些极端分子接受过去极端化技术的去极端化训练。超过三分之一的电子邮件导致研究人员将其归类为“持续互动”，目标与前极端分子至少交换了五条信息。有些人请求帮助离开极端组织，或者对前极端分子为何与激进主义决裂感到好奇。

该项目突显了内容删除可能适得其反的方式。在项目进行期间，四分之一被认定为可能目标的人因发布极端内容而被Facebook删除了账户。这可能不是最佳策略。例如，如果一个英国青少年转发了一段圣战者视频并被取消账户，这并不会对伊斯兰国造成伤害。相反，这浪费了一个通过反宣传接触青少年的机会，并可能防止他被恐怖组织招募。

该研究所的首席执行官萨莎·哈夫利切克表示，像“没有理由种族歧视”这样的反叙事活动旨在强化宽容等价值观，使社区对极端主义宣传“具有韧性”。她指出，针对普通人群的公共卫生运动已经改变了行为——例如，减少吸烟和不安全性行为的发生率。她认为，遏制种族主义和减轻伊斯兰极端主义的吸引力也会如此，前提是这些信息由目标受众认为可信的人传递。在2016年的ISD研究中，Facebook、Google和Twitter上的反叙事视频在用户中产生了正面和负面的反应。哈夫利切克承认，证据最多只能说是初步的，接触这些视频是否改变了观众的态度或使他们对极端信息更具抵抗力尚不明确。这就是她希望进行进一步研究的原因。

其他互联网巨头正在尝试类似的技术。2015年，谷歌Jigsaw，一个致力于利用技术消除在线极端主义的Alphabet Inc.部门，进行了一个名为重定向方法的试点，在该试点中，它改变了那些倾向于加入伊斯兰国的人可能使用的搜索查询的结果，例如“什么是圣战？”搜索这些短语的人随后会看到反叙事视频的广告。谷歌表示，点击率比平均搜索广告高出75%。

Facebook在向那些在线活动表明他们可能在考虑自杀的用户提供自杀预防信息时也做了类似的事情。该公司可以向那些行为表明他们被白人民族主义迷住或受到伊斯兰国影响的人推送反叙事内容或进行个别干预。但Facebook一直不愿意在这条路上走得太远。它表示，一个问题是，与自杀预防不同，没有标准的反极端主义内容可以在每种情况下都有效。

还有更大的哲学问题。“过滤和审查之间的权衡是什么？体验的自由和体面？”Facebook人工智能研究主任Yann LeCun在去年底公司位于加利福尼亚州门洛帕克的总部与记者进行圆桌讨论时问道。“技术要么存在，要么可以开发。但问题是，如何合理地部署它？这不是我的部门。”扎克伯格，显然是他的部门，似乎不愿直接参与向用户提供反叙事内容，尽管他最近承诺利用Facebook来改善社会。“研究表明，一些最明显的想法，比如向人们展示来自对立观点的文章，实际上会加深两极分化，”他在2月份的帖子中写道。

反叙事的努力也面临来自右翼团体的敌意，他们指责Facebook释放思想警察。例如，当桑德伯格推出OCCI时，加拿大电视评论员埃兹拉·莱万特（Ezra Levant），北方的拉什·林博（Rush Limbaugh）式人物，抨击它是“一个明确针对右翼内容的官方审查程序”。

1月18日，大约200名记者、游说者和议会工作人员聚集在柏林历史悠久的国会大厦四楼的一个大型委员会会议室。他们参加的是由默克尔的基督教民主联盟组织的关于Facebook、仇恨言论和假新闻的辩论。在小组讨论中，Facebook在德国的首席游说者埃娃-玛丽亚·基尔希西珀（Eva-Maria Kirschsieper）与敌对的立法者、学者以及一位成功起诉该公司因未能及时删除冒犯性评论的电视广播员展开了对峙。

基尔希西珀显得慌乱且似乎处于防守状态，坚称Facebook认真对待打击仇恨言论和假新闻，并强调这些问题“高度复杂”，没有简单的解决方案。政治家们对此并不买账。默克尔的首席议会副手沃尔克·考德（Volker Kauder）指责社交媒体已经退化为一个“侮辱、指控和诽谤司空见惯的区域”。如果OCCI的部分目标是对抗仇恨言论以及在欧洲日益上升的反Facebook情绪，那么它正在失败。

Facebook的首席欧洲游说者理查德·艾伦（Richard Allan）表示，该公司不愿强调其反叙事活动，因为这些活动仍处于实验阶段。“我们需要尝试一些东西，如果有效，我们应该扩大规模，”他说。但与此同时，“我们不想过度宣传我们正在做的事情。”

有一些小而令人鼓舞的胜利。2015年，巴尔道夫的团队通过Facebook与一名似乎被新纳粹主义吸引的德累斯顿学生取得了联系。该学生对交谈并不感兴趣，谈话很简短。几个月后，在2016年1月，德国爆发了一场丑闻，关于在科隆跨年庆祝活动中，移民 allegedly 进行的一系列性侵犯。这个故事被证明是虚假的，随后不久被揭穿，这名学生再次联系了巴尔道夫的团队，并表示他想谈谈。

这次对话持续了更久，学生最终意识到自己是如何被右翼宣传误导的。“有时候，所需的只是与持不同观点的人交谈，”巴尔道夫说。

——与斯特凡·尼古拉、埃利奥特·斯奈德、比尔吉特·延嫩、赖纳·布尔金和萨拉·弗里尔合作

编辑注：本文的早期版本错误引用了战略对话研究所的前员工罗斯·弗雷内特。