Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection

引用格式

[1] Chen S , Fu Y . Progressively Guided Alternate Refinement Network for RGB-D Salient Object Detection[J]. 2020.

研究的背景

  1. backbone在理论上有足够大的感受野来覆盖大部分的显著目标，但是有效的感受野比理论上的少很多[ Understanding the effffective receptive fifield in deep convolutional neural networks.]
  2. 在融合多尺度特征时，高维的语义信息会被逐渐稀释。

使用的方法（创新点）

  1. 提出了渐进式引导，交替式改进的网络，来改善多尺度残差模块生成的粗糙的初始显著性预测图。同程明明等人的100k参数模型一样，没有使用预训练网络作为backbone(depth流中)，而是从头构建了一个轻量级的深度流(只有4个级联的卷积层)，它可以在更少冗余的前提下更有效的提取互补特征(64.9MB)。

    architecture

  2. 提出了MSR模块来解决背景中所述的尺度问题。MSR有三个分支，除了膨胀率不一样外其他都相同。同之前一样，为了在保持参数数量不变的前提下增大感受野，使用了循环递归的方式来使用残差模块。

    MSR

  3. 提出了guided residual(GR)模块，以RGB和depth特征交替作为输入，用前一步的输出预测图作为辅助输入，目的是为了减少二者的互相退化(解决背景2的问题)。GR模块由两部分组成：split-and-concatenate(SC)操作以及dual residual learning(双残差学习)。SC操作实际上就是向特征图中平均的插入几层输出预测图。双残差学习分两步，首先将SC的输出进行卷积并和输入进行加和；其次对这个加和的结果进行卷积然后与上一步的输出预测图进行加和，得到这一步的输出预测图。

    GR

  4. 对每个侧链的堆叠GR模块进行渐进式引导来弥补错误检测或者检测缺失。所谓渐进，指的是通过设置SC中的分组数目来调整预测引导作用的强弱。

评估方法

  • PR曲线，F-measure，MAE，S-measure和E-measure.

其他

  1. SOTA：

    DF [45], CTMF [20], MMCI [3], TAN [2], PCAN [1], CPFP [62], DMRA [42],ICNet [26], UCNet [55], JL-DCF [18], A2dele [44], and SSF [59]

  2. 要看：

    1. Contrast prior and fluid pyramid integration for rgbd salient object detection.
    2. Scale-aware trident networks for object detection.

  3. 融合多尺度特征的方式：

    1. short connection：Deeply supervised salient object detection with short connections.
    2. skip connection： Feature pyramid networks for object detection.
    3. residual connection： R3net、 Deep residual learning for image recognition、Residual dense network for image restoration