ICON论文笔记

引用格式

[1] Zhuge M , Fan D P , Liu N , et al. Salient Object Detection via Integrity Learning[J]. 2021.

研究的背景

  1. SOD有着显著的进步，但是在完整性上还有着不小的差距。关于完整性：在微观上，指的是模型应当突出表示某一显著性目标的所有部分；在宏观上，模型应当发现所给图像中所有的显著性目标。

使用的方法（创新点）

  1. 提出了完整性认知网络(Integrity Cognition Network，ICON)，它设计了三个重要的组件来学习强完整性的特征。

    architecture

  2. 没有像许多工作一样关注提取特征的判别力，而是提出了多样特征聚合模块(diverse feature aggregation，DFA)来聚合具有多种感受野的特征，并增加特征的多样性。由以往工作可知丰富的感受野可以帮助网络捕捉不同尺寸大小的显著性目标。该模型则更进一步，使用了不同尺寸且不同形状的卷积核，分别解决目标不同大小不同形状的问题。该模块中使用了三种卷积块：非对称卷积、空洞卷积和原始卷积来实现尺寸和形状的多样性——将backbone提取的特征分别使用三个卷积块处理，然后进行拼接。其中非对称卷积分别使用3$\times$3,1$\times$3,3$\times$1的卷积核，然后将三者进行像素级加和。

    DFA_ICE

  3. 在DFA的基础上提出了完整性通道增强模块(integrity channel enhancement，ICE)来增强特征通道，借此突出显著目标并抑制其他部分。由第一幅图可知，ICE的输入是多个不同尺度的特征图，以三个为例，通过上下采样将三者缩放到统一尺寸，然后进行拼接得到初步融合特征。对其使用L2-Norm、卷积、Layer-Norm、卷积，然后同其本身相乘，即得到最后的融合特征。其效果类似于空间和通道注意力，效果如下所示。

    effective

  4. 提出了部分-整体验证方法，来确定部分目标特征和整体目标特征是否有较强的一致性，这样的一致性可以进一步提高每个显著性目标微观级别的完整性。该模块使用了胶囊网络，因为其被证明在建模局部-整体关系上是有效的。在聚合低级胶囊的对象部分来形成高级胶囊的整体表示时，使用了EM routing的方式。初级胶囊由八个姿态向量来构建姿态矩阵，再加上一个激活，便构成了一个胶囊，其中，姿态矩阵表示的是对象的属性，如旋转，大小等等，模长则表示了对象的存在概率。该模块使用EM routing机制来传递信息，具体来说就是根据低级姿态矩阵和学习到的变换矩阵的乘积作为投票(votes),然后根据vote获得高级胶囊。

    PWV

  5. 该模型的loss除了bceloss之外还有IoUloss，此外该模型使用了深度监督机制。

评估方法

  • F-measure，MAE，weighted F-measure，S-measure，E-measure，FNR。

其他

  • SOTA：Condinst、PointRend、PiCANet、RAS、AFNet、BASNet、CPD、EGNet、SCRN、F3Net、MINet、ITSD、GateNet、VST。

  • 当前技术：多尺度特征融合(如跳跃连接)，上下文建模(如attention)，自顶向下建模，边界引导学习。

  • ACNet: Strengthening the kernel skeletons for powerful cnn via asymmetric convolution

    blocks,