AI正在取代网络版主，但表现糟糕——彭博社

插图：Derek Abella凯文决定从事内容审核工作，源于YouTube推荐算法的诡异转向。2021年，他的推荐流突然出现尼日利亚武装组织博科圣地实施暴力袭击的视频。这些原始而血腥的画面，让他想起童年时在尼日利亚目睹的暴力场景。

某天这些视频突然消失了。*是谁处理的？*他在网络上了解到，清理互联网有害内容竟是一份可申请的工作。“我不希望人们被迫目睹这些血腥画面，“使用化名接受采访的凯文说道，出于工作性质需要保密。“我想让世界变得更好。”

如今凯文就职于TikTok的内容审核外包公司，负责筛查撒哈拉以南非洲地区的用户视频。据他描述，他的判断直接决定"所有恶劣残忍内容”——动物虐待、人身伤害、肢体残缺、死亡事件、涉及儿童的意外事故——能否继续留存。

这份工作需要极强的心理承受力。近期公司要求他使用AI程序辅助审核，但经过一年多的实操，凯文指出AI反而制造了新问题：这项技术无法可靠识别暴力与恶意。然而他担忧，这并不会阻止雇主用自动化工具取代人工。

生成式AI的迅猛发展让众多企业押注：只要投喂足够多的正反面案例，终有一天技术能学会明辨是非。但13位专业审核员透露，当前用于拦截儿童性虐内容、政治谣言等危险信息的AI，其取代人工的速度远超学习效率。留守的审核员们担心，由AI监管的互联网将沦为危机四伏的雷区——加密的仇恨言论、政治操弄、儿童诱骗等网络危害将持续扩散且不受制约。

“如果走用AI减少信任与安全团队规模的路子，整体安全性反而会降低，”加拿大儿童保护中心技术总监劳埃德·理查德森表示，“必须有人类参与其中。”

7月17日，TikTok柏林办公室外，员工参与由Ver.di工会组织的抗议活动。摄影师：约翰·麦克杜格尔/法新社包括Meta Platforms Inc.、字节跳动旗下TikTok、Roblox Corp.和X在内的公司正大力宣传AI内容审核的优势。这项工作会造成心理创伤且压力巨大，可能给审核人员留下持久的情感伤痕，而雇佣足够人力来处理所有内容要么不现实，要么成本高得惊人——想想看，用户每天发布超过2000万条YouTube视频。自动化系统通过拦截已知违规内容（如大规模枪击视频）的重复上传，一定程度上减轻了负担。但如今，企业正依赖AI学习识别发布内容的细微差别并做出决策。

当前AI驱动的聊天机器人能在情感对话中支持人类。但审核员们表示，这并不意味着同类技术已能保护网民免受精神创伤。彭博社采访的13位审核员中，除一人外均表示现有工具反而增加了工作难度。“我们不能依赖AI的建议，”36岁的扎纳尔克·卡德诺娃说，她在哈萨克斯坦一家为大型科技公司提供外包服务的内容审核公司工作，“80%的情况下都不准确，我们根本不会参考。”

凯文估计，对他来说，系统的失败率高达70%。该系统仍频繁得出错误结论——比如在视频中本应指向时速表上200公里/小时的读数时，却标出了汽车仪表盘上的低油量指示灯；又或者会在平台上圈出一个小孩的脸，将其识别为17岁。他花时间纠正这些错误，并为所见的一切输入极其具体的标签。修正AI增加了工作量，占用了本可用于处理更紧迫问题的时间。

“这很可怕。非常可怕，“凯文说道。他认为自己细致的纠错行为正在训练这个系统，最终会取代自己，尽管他的老板们没有明确说过这一点。

Roblox、YouTube、TikTok、Meta和X都因内容审核实践面临审查。2024年，美国参议院听证会就儿童安全问题质询了后三家公司。如今，TikTok在有关自杀内容、诱骗等调查后，正应对数十起诉讼。美国联邦贸易委员会指控Meta旗下Instagram为未成年人与诱骗者建立联系，而大量报道揭示了Facebook在审核暴力和极端内容时面临的挑战。

在埃隆·马斯克收购并更名为X的推特后，监管机构和记者提出了一系列担忧，认为该平台正在扩散未经同意的深度伪造色情内容和儿童虐待内容。Roblox同样因未能保护儿童免受平台上捕食者的侵害而受到批评，包括在2024年《商业周刊》的一项调查中。过去三周内，针对该公司已提起七项法律诉讼，指控其危害儿童安全，其中包括路易斯安那州总检察长莉兹·穆里尔的起诉。诉讼称捕食者在Roblox上针对年仅8岁的儿童。“关于Roblox故意将用户置于剥削风险中的断言完全不属实，”该公司在回应诉讼时表示。

然而过去一年，在削减成本的压力下，这些公司均宣布将更多依赖AI内容审核，加速了始于疫情期间的举措——当时企业认为敏感内容工作无法居家完成。对部分应用而言，这一转变也部分源于保守派立法者声称人工审核存在偏见。

在埃隆·马斯克的领导下，X公司大幅缩减了内容审核团队规模，根据该公司《数字服务法案》报告，自2023年以来欧盟地区审核员已减半至1486人。Meta的内容审核承包商Telus于4月裁撤了巴塞罗那2000多个岗位。前Roblox首席财务官迈克尔·古思里去年向投资者表示，公司通过"更多使用人工智能，逐步减少人工审核"从运营中释放出现金流，同时保持员工人数不变。Roblox未回应关于其审核团队规模及是否随平台第二季度41%用户增长而扩编的置评请求。彭博社2024年报道称，Roblox当时为8000万日活用户配备了约3000名审核员。该公司表示审核员数量并非质量指标。

据路透社报道，TikTok近期裁减了数百个审核岗位，并计划在转向AI审核时进一步裁员。德国近150名TikTok审核员中有50人因即将到来的裁员威胁罢工。一位负责荷兰视频内容（包括阴谋论和选举虚假信息等主题）的审核员表示，AI无法替代其工作，因为它无法理解特定地区语境（如弗拉芒语不同方言）。

2025年7月17日，身穿Ver.di工会服装的TikTok员工返回柏林办公室。摄影师：Omer Messinger/Getty ImagesX公司未回应置评请求。TikTok发言人表示，人工智能"能辅助保障内容审核员的福祉并提升人工审核效率”，指出该技术可根据审核员的文化认知个性化分配工作量。“我们运用AI辅助内容审核仍处于早期阶段”，发言人补充称公司在启用新审核技术前会设定"严格的质量基准”。该代表表示，人工审核员将更专注于处理"语境复杂但出现频率较低"的疑难案例。

Roblox在八月推出了一套旨在识别儿童侵害早期迹象的AI系统，已协助向美国失踪与受虐儿童中心提交1200份潜在剥削儿童报告。该公司在七月博客中称，海量文本与音频内容审核是"人类无法独立完成的工作”，需要"数十万审核员全天候轮值"。Roblox分享了其如何训练系统避免漏判，并仅在AI"精确率与召回率均显著优于大规模人工审核"时才会部署该技术。

在首席执行官David Baszucki于X平台发布的博客文章下，数十名评论者抱怨平台审核问题，许多人认为儿童平台更适合由人类进行内容监管。部分用户分享了所见的不当内容截图，包括虚拟角色 穿着丁字裤的画面。

人工智能在辅助人类工作方面能力显著，例如优先标记高危内容供人工审核。AI还能将令人不适的视频图像转为黑白，研究者称这有助于保护审核员心理健康。TikTok发言人表示，随着"审核技术接管更多可能引发不适的视频"，其人工审核员删除违规血腥内容的数量减少了60%。但即便是销售AI审核工具的公司也警告勿过度依赖该技术。

“某些AI系统存在大量误判，“儿童安全软件公司Kidas首席执行官Ron Kerbs指出。AI可能无法分辨《使命召唤》玩家说"我要杀了你"是游戏行为还是真实威胁。Meta在1月的博客中承认，其自动违规检测系统"错误率过高"导致过度审查，未来将集中监管毒品、欺诈等高危违规。

人工智能的误判可能导致那些在网上并无不当行为的用户遭遇糟糕体验，例如被错误地封禁账户。这增加了人工审核员的工作量，他们需要处理大量申诉请求。“AI删除的一些内容根本不合逻辑，“29岁的迈克尔·恩科科表示，他曾在Meta的外包审核公司任职。由于仍需完成每日工单处理指标，这些申诉"额外增加了工作量”。Meta发言人表示误删内容仅占极小比例。

计算机擅长处理是非判断题，但在主观判断、文化语境和审美品味方面表现欠佳。正确判断力的培养是个持续过程——公司政策因法规政策环境快速调整，社会规范不断演变，新型侮辱性用语层出不穷。AI内容审核公司Modulate首席执行官迈克·帕帕斯指出：“人类语言演变速度远超AI的识别理解能力，需要人工介入判断，比如发现’紫色’已成为新的种族歧视用语。“而平台上的数千种活语言更使问题呈几何级增长。

为使AI获得近似人类的判断力，系统必须通过大量具体的是非题训练，才能更频繁地达成人类凭直觉就能实现的判断。凯文透露同事们常被要求反复审核同条内容，他认为这表明公司正试图通过人工审核来训练AI。他记得有段视频显示两人斗殴，其中一人持武器攻击对方。

“*受试者举手了吗？*你点击了‘是’。*手是以特定速度放下的吗？*是。*发生了肢体接触吗？*是。*另一名受试者对接触有反应吗？*是。*受试者看起来遭受了严重伤害吗？*是。*有血迹或肢体残缺吗？*有，”凯文解释道，“如果认为你在做这些事却没有在训练AI，那就太天真了。”

同样来自尼日利亚并要求使用化名的彼得表示，因目睹过童年暴力事件，他将内容审核视为社区服务。当他坐在工位前时，有时需要标注视频中的每个细节，比如身体部位或家居物品。其他时候，他要上报AI未能识别的侮辱性言论。最终，公司的自动化系统开始识别出像豪萨语中侮辱非穆斯林群体的“arne”这类词汇。（和凯文一样，彼得通晓六种语言。）

“我知道我的服务很快就不再被需要了，”彼得谈到公司发展AI的野心时说，“如果我是企业主，我也会想削减成本。”

审核员们担心，无论他们把AI训练得多好，它都无法理解人类言行的微妙之处。一位要求匿名的工作人员表示，他经常审核人们穿着暴露内衣的视频。AI能可靠地识别这一点。但他表示，如果用户站在水域附近，AI不会做出例外判断。其他情况下，AI可能检测到裸露的胸部，却不会考虑允许哺乳图像的政策例外。

比基尼照片只是这些审核员最不担心的问题。许多人表示，他们主要关注的是儿童安全问题。性掠夺者会细致研究平台的自动化审核策略以规避审查——他们的学习速度甚至快过人工智能。

在暗网论坛上，儿童性侵者会交流哪些词汇会被平台自动化系统捕捉，或是在被禁言前能与儿童进行多深入的对话。审核员指出，虽然AI能准确识别图像或视频中的儿童，却难以辨别人类审核员能识别的诱导性文字对话。试图将儿童引诱至监管更宽松平台的 predators 会使用"一起玩吧"或"幽灵软件见"等看似无害的短语。一位审核员透露，若平台开始监测这类词汇，他们就会在字母间插入X符号。

专家表示，科技巨头最安全的做法是在开发AI工具辅助的同时保留人工审核团队。内容审核公司WebPurify高级副总裁乔纳森·弗雷格指出：“需要审查的潜在有害内容数量只增不减——尤其是生成式AI导致平台充斥这类内容。”

Discord产品政策主管萨凡纳·巴达利奇接受采访时表示，在公司首次公开募股前不会削减审核相关成本。她强调：“虽然我们使用机器学习和大语言模型辅助人工审核，但保持人类参与闭环至关重要，特别是重大处罚决策。AI不会取代任何员工，而是用于支持和加速他们的工作。”

外包公司Teleperformance SE雇佣了数千名合同制内容审核员，为TikTok等平台筛查内容。公司代表表示：“尽管自动化技术取得重大进展，但在社交媒体和游戏环境中，人类审核员对于确保安全性、准确性和共情能力仍不可或缺。“发言人指出，内容审核不仅仅是简单地对图片做是非判断，更是"解读行为、理解语境并做出AI仍难以胜任的判读决策”。

凯文表示这是他担任TikTok内容审核员的最后一年。“我不打算工作超过四年，“他说，“我们都很抑郁。真正的抑郁症。“闲暇时他会看老喜剧片、弹吉他以及祈祷。“只要我们持续用工作内容训练AI，它确实会不断进步，“他补充道。

但他认为这远远不够。“仍会有大量极端违规内容漏网，“凯文坦言。