聚焦内容安全 跨模态视频搜索引擎“白泽”正式发布

人民网广州11月24日电（记者孙阳、栗翘楚）11月24日，由中央网信办、中央广播电视总台、广东省委网信委联合主办的2021中国网络媒体论坛在广东省广州市开幕。在技术论坛上，人民日报社传播内容认知国家重点实验室与人民中科共同发布了面向内容安全的跨模态视频搜索引擎——“白泽”，人民日报社传播内容认知国家重点实验室主任，人民网党委书记、董事长、总裁叶蓁蓁介绍了相关情况。

据悉，内容风控大脑是对全网海量内容进行高通量感知、机器理解、智能检索并自主进化的计算平台，“白泽”则是该计算平台的核心组件。内容风控大脑全部技术组件均实现国产化部署，提供视频搜索、内容风控、开源情报、反诈反恐、内容溯源、版权保护、实训靶场等多功能。鉴于跨平台、跨模态的视频搜索引擎是探索数字世界的重要工具，有巨大社会价值和商业前景，该引擎拟独立运营，以“白泽”作为商品名对外提供服务。

叶蓁蓁表示，当前，各大主流媒体已进入多模态阶段，可实现文字、图片、视频搜索，但相互间的壁垒依然存在，人民网进入跨模态搜索领域，实现文字、图片、音视频互联互通。

当前，基于单个模态的内容提取及简单规则匹配的内容分析策略，已无法满足实际工作需要。对此，各厂商纷纷推出基于多模态融合和复合规则判断的多模态策略，但仍面临依赖大规模算力、模态之间信息相互隔离、运行和维护成本高、资源复用率低等问题。此次发布的“白泽”引擎，基于跨模态视频检索的策略，其跨模态引擎可实现单模态语义理解、多模态信息融合、跨模态语义关联，补全单一模态信息不足的现状，打破模态间信息孤岛。

据介绍，“白泽”引擎将文字、图片、语音和视频等不同模态信息映射到一个统一特征表示空间，以视频为核心，学习多个模态间统一的距离度量，跨越文字、语音、视频等多模态内容的语义鸿沟，自动关联多模态间关键要素。

在此背景下，“白泽”引擎无需配置传统内容搜索所需的复杂匹配规则，通过自然语言描述即可快速检索出相同语义的视频，在不需要依赖大规模算力的情况下，有效应对新事件和突发事件，资源复用率高。

此外，面向内容安全，“白泽”结合对境内外多平台内容的检索，可跨平台实现文本搜图片、文本搜视频、图片搜视频、视频搜视频、图片搜文字、视频搜文字等功能。在论坛现场，叶蓁蓁展示了“白泽”在视频搜索、溯源和辟谣、版权监测、视频生产等商业化应用场景的功能。

同时，为提升“白泽”引擎的安全和效率，人民中科基于华为昇腾芯片研发了面向内容理解的“雨燕”智能计算加速卡，并采用全自主研发的模型压缩和加速算法，同等条件下能够实现4倍效率的提升。