大型人工智能数据集中发现超过1,000张儿童虐待图片，研究人员发现-彭博社

一个新报告来自斯坦福互联网观察中心发现，用于构建流行的人工智能图像生成器的大型公共数据集中至少包含1,008个儿童性虐待材料实例。

报告称，LAION-5B包含来自互联网的50多亿张图片和相关说明，可能还包括数千件涉嫌儿童性虐待材料（CSAM），该数据集中的CSAM可能会使基于该数据构建的人工智能产品（包括Stable Diffusion等图像生成工具）生成新的、潜在逼真的儿童虐待内容。

越来越强大的人工智能工具的崛起引起了警报，部分原因是这些服务是建立在海量在线数据上的，包括LAION-5B等公共数据集，这些数据可能包含受版权保护或有害的内容。特别是，AI图像生成器依赖包含图像和文本描述对的数据集，以确定各种概念并根据用户的提示创建图片。

总部位于德国的非营利组织LAION的发言人在一份声明中表示，该组织对非法内容有“零容忍政策”，并临时将LAION数据集从互联网上删除，“以确保它们在重新发布之前是安全的”。该发言人表示，在发布数据集之前，LAION创建并发布了用于发现和删除其中非法内容的过滤器。Christoph Schuhmann，LAION的创始人，此前告诉彭博新闻，他不知道数据集中有任何儿童裸体照片，尽管他承认自己没有深入审查数据。他表示，如果收到有关此类内容的通知，他将立即删除相关链接。

Stability AI的发言人，这家资助和推广了稳定扩散的英国人工智能初创公司表示，该公司致力于防止人工智能的滥用，并禁止将其图像模型用于非法活动，包括尝试编辑或创建CSAM。“这份报告关注LAION-5B数据集作为一个整体，”发言人在一份声明中说道。“Stability AI模型是在该数据集的一个经过筛选的子集上进行训练的。此外，我们对这些模型进行了微调，以减轻残留行为。”

LAION-5B或其子集已被用于构建多个版本的稳定扩散。更近期的软件版本稳定扩散2.0是在数据上进行了大幅过滤以消除数据集中的“不安全”材料，使用户更难生成明确的图像。但稳定扩散1.5确实生成了性暴露内容，并且仍在互联网的一些角落中使用。发言人表示，稳定扩散1.5并非由Stability AI发布，而是由Runway发布的，Runway是一家AI视频初创公司，曾帮助创建了原始版本的稳定扩散。Runway表示这是与Stability AI合作发布的。

“当用户与我们平台上的模型进行交互时，我们已经实施了过滤器来拦截不安全的提示或不安全的输出，”Stability AI的发言人补充道。“我们还投资于内容标记功能，以帮助识别在我们平台上生成的图像。这些层面的缓解措施使恶意行为者更难滥用人工智能。”

LAION-5B于2022年发布，依赖于由加利福尼亚非营利组织收集的原始HTML代码，用于在网络上定位图像并将其与描述性文本关联起来。数月来，关于该数据集包含非法图像的传言在讨论论坛和社交媒体上流传。在讨论论坛中和社交媒体上。“据我们所知，这是第一次尝试实际量化和验证这些担忧，” 斯坦福互联网观察组的首席技术专家戴维·蒂尔在接受彭博新闻采访时说。

为了他们的报告，斯坦福互联网观察组的研究人员通过寻找这些图像的不同类型的哈希值或数字指纹来检测CSAM材料。然后，研究人员使用专门用于查找和删除已知儿童虐待图像的API以及在数据集中搜索相似图像来验证这些图像。

斯坦福互联网观察组发现的大部分涉嫌CSAM内容都得到了加拿大儿童保护中心等第三方以及微软公司开发的名为PhotoDNA的工具的验证。报告称，考虑到斯坦福互联网观察组的研究人员只能处理有限部分高风险内容，数据集中可能还存在其他滥用内容。

尽管数据集中存在的CSAM数量并不表明非法材料“极大地”影响了AI工具生成的图像，蒂尔表示它可能仍然产生影响。“这些模型非常擅长能够从少量图像中学习概念，”他说。“而我们知道其中一些图像可能在数据集中重复出现，可能有几十次。”

斯坦福互联网观察所的工作先前发现，生成式人工智能图像模型可以生成CSAM，但该工作假设AI系统能够通过结合两个“概念”（如儿童和性行为）来实现这一点。蒂尔表示，新的研究表明这些模型可能生成这种违法图像是因为它们构建在一些基础数据上。报告建议基于Stable Diffusion 1.5的模型“应该被废弃，并在可能的情况下停止分发。”