特斯联公布AI研发新突破：小样本语义分割法

【环球网科技综合报道】7月7日消息，特斯联首席科学家兼特斯联国际总裁邵岭博士及团队，提出了一个用于小样本语义分割的框架，在给定少量像素级标注的支持集（Support）图像的情况下，分割查询集（Query）图像中的目标物体。

据悉，相关研究成果已于2022年CVPR发表，题为《学习用于小样本语义分割的非目标知识》（Learning Non-target Knowledge for Few-shot Semantic Segmentation）。

据介绍，虽然现有研究方法已经取得了一些成果，但这些方法都侧重于尽可能从支持集（Support）中挖掘出更有效的物体信息，然后将该信息转移到查询（Query）图像中以实现分割。然而，前述方法经常在有背景（BG）和隶属其他类别共存的物体，即干扰物体（DO）时出现假正类（false positive）的预测。误报的主要原因是在小样本的设定下仅关注目标物体导致相关模型难以学习有判别力的特征和区分易混淆的区域。

为此，团队从一个全新的角度重新思考小样本语义分割任务，即挖掘和排除非目标区域（BG和DO区域），而不是直接分割目标物体。从这一点出发，在该研究中，团队提出了一种全新的框架——用于小样本语义分割的非目标区域消除（Non-Target Region Eliminating, NTRE）网络。团队首先开发了一个BG挖掘模块（BG Mining Module, BGMM）来获得一个BG原型并分割BG区域，然后提出了一个BG消除模块（BG Eliminating Module, BGEM）来从查询(Query)特征中过滤掉BG信息。接下来，支持中的目标原型在匹配网络中用于激活查询特征中的目标对象。随后，团队采用DO消除模块（DO Eliminating Module, DOEM）先挖掘DO区域，然后从查询(Query)特征中过滤掉DO信息。如此一来，即可在不受BG和DO区域干扰的情况下获得准确的目标分割结果。

值得注意的是，考虑到很难学习到一个好的嵌入空间原型特征来区分在小样本设置下的DO和目标物体，团队提出了原型对比学习（PCL）方法，通过细化原型特征嵌入来提高网络的物体识别能力。具体来说，对于一个查询（Query）目标原型，团队将相应的支持（Support）目标原型视为正样本，而将查询（Query）和支持（Support）中的DO原型视为负样本。接下来，团队提出一个PCL损失函数来强制原型嵌入在目标原型中相似，而在目标原型和DO原型之间不相似。这样一来，PCL可以有效地帮助网络区分目标物体和DO。

总体而言，团队从新视角解决了小样本语义分割的问题，并提出了全新的NTRE框架来关注BG和DO区域。团队提出了BGMM、BGEM 和DOEM 来有效地实现对BG和DO 的挖掘和消除。 而且，团队提出了BG挖掘损失函数，在不使用真实的BG的情况下来监督BGMM和一个BG原型的学习。

此外，团队还提出了PCL来提高模型能力，以更好地区分目标物体和 DO。在两个基准数据集上进行的大量实验证明了这一方法相较于过往方法的性能优势。