BCNet论文笔记

引用格式

[1] Dong B , Zhou Y , Hu C , et al. BCNet: Bidirectional Collaboration Network for Edge-Guided Salient Object Detection[J]. Neurocomputing, 2021, 437(4).

研究的背景

  1. 边缘的质量是决定精准检测显著性目标成功与否的关键因素。

  2. 现在有许多基于边界引导的SOD模型，但是效果不尽如人意，这主要是因为缺乏对多级特征融合和多类特征聚合的综合考虑。

  3. SOD面临两大问题，一个是难以将显著性目标从复杂背景中分离出来。

  4. 另一个是显著目标边缘处的检测效果往往不好。

  5. 对于多类型特征的聚合，前人的工作往往只是采用简单的拼接或者像素级的加法或乘法来实现。

    BCNet——type

使用的方法（创新点）

  1. 提出了新颖的双向协作网络(bidirectional collaboration network)，它可以将有效的多级特征融合和多类特征聚合操作整合到一个统一的边界引导的SOD框架中。该模型使用了深度监督的思想，但是除了CSM-1使用了边界进行监督，其余都使用mask作为监督。

    BCNet——architecture

  2. 提出了一致显著性最大模块(consistency saliency maximization，CSM)，其灵感来源于空间注意力机制，目标是告诉我们显著性区域在哪。其功能是在自顶向下的渐进路径中传播最高层语义特征，并产生全局边界表示和一系列的区域表示。CSM模块的输入包括上一模块的输出，最高层的特征图和对应层的特征图；在被送入模块进行处理之前，特征图会根据需要进行上采样和卷及操作，调整尺寸和通道数。CSM模块需要进行边界和显著性两种监督。CSM模块有三个主要步骤：生成信息特征图，生成协作图，显著性特征最大化。

    1. 产生信息特征图。

      将三个输入进行像素级的加和，然后用叠加后的特征图产生平均信息特征图和最大信息特征图(分别计算跨通道维度的平均和最大)。我的理解是类似AMPNet论文里面同时使用平均池化和最大池化的思想，既可以抑制背景噪声，又可以保留边界特征。

    2. 产生协作图。

      最大信息特征图可以强调显著性区域的位置，平均信息特征图可以抑制背景噪声。首先将他们拼接起来，然后使用卷积层来产生单通道的表示，再送入sigmoid函数进行激活。

    3. 显著性特征最大化。

      将协作图和三个输入加和的特征图进行像素级乘积以得到输出结果。

    BCNet——CSM

  3. 提出了多边界特征融合模块(multiple bounded feature fusion，BFF)，其功能是使用边界特征来改善、精细化区域特征。BBF模块的输入包括对应CSM的输出的上采样，和来自CSM-1的边界特征。BFF模块需要进行显著性监督。对CSM模块的输出进行上采样，让它和CSM-1输出的边界特征图具有同样的大小，然后将两者简单的加和，再将其卷积，BN，Relu，接着将其和原边界特征图以及原CSM特征图再进行加和。接下来，要对这个融合之后的矩阵进行全局平均池化，卷积，激活，卷积，sigmoid激活。最后将其与三项融合矩阵进行像素级乘积再进行像素级加和即可得到BBF模块的输出。显然，BBF模块使用的是通道注意力机制，用其选择和融合不同类型的特征，其本质上是告诉我们什么特征是重要的。

    BCNet——BFF

  4. BCNet同边界损失和区域损失进行联合训练。总损失函数分为四个部分：CSM-1的边界损失，其余CSM的损失，BBF的损失还有最后显著性预测图的损失。

研究的成就

  1. 提出了新颖的针对边界引导SOD的双向协作网络，有效的解决了多级特征融合和多类特征聚合的问题。
  2. 引入了CSM和BFF模块，首先传播最高层的语义表示，然后使用边界特征改善区域特征。

评估方法

  • PR曲线，F-measure，MAE，S-measure和E-measure.

其他

  • edge-guided models
    1. 结合特殊的边界损失函数
      1. Non-local deep features for salient object detection
      2. Basnet: boundary-aware salient object detection
      3. Attentive feedback network for boundary-aware salient object detection
    2. 使用多任务学习方式引入边界监督，并用边界特征加强区域特征
      1. Focal boundary guided salient object detection
      2. A simple pooling-based design for real-time salient object detection
      3. Salient object detection with pyramid attention and salient edges
      4. Egnet: edge guidance network for salient object detection
      5. Stacked cross refifinement network for edge-aware salient object detection
      6. A mutual learning method for salient object detection with intertwined multi-supervision,
  • ] S. Woo, J. Park, J.-Y. Lee, I. So Kweon, Cbam: Convolutional block attention module, in: Proceedings of the European Conference on Computer Vision,2018, pp. 3–19.