R3Net论文笔记

引用格式

[1] Deng Z , Hu X , Zhu L , et al. R^3 Net: Recurrent Residual Refinement Network for Saliency Detection[C]// International Joint Conference on Artificial Intelligence (IJCAI), 2018. 2018.

使用的方法（创新点）

  1. 提出了新颖的循环递归残差改进网络(recurrent residual refinement network)。如之前论文笔记中所述，用vgg作为backbone的时候，前三层包含了更多的低维细节信息，而后两层则是包含了更多的高维语义信息，本模型也使用了这个结论，但是使用的是ResNeXt，并将其分成了两部分，浅层部分会被整合，用于生成低维整合特征，深层部分同样会被整合，生成高维整合特征，他们分别被记为L和H。整合的时候，先进行上采样，通道维度的拼接以及由三个卷积层跟随三个激活函数构成的特征融合网络。接着，模型会从H中生成初始显著性图，并送入一系列的RRB模块中。

    R3Net

  2. 引入了残差改进模块(RRB)，该模块通过交替利用低级特征和高级特征来学习显著性预测和gt之间的残差。该模块的输入是来自上一步的输出以及低维整合特征和高维整合特征的交替；该模块的输出是一个叠加了上一步的输出和一个学习到的残差(指的是gt和输出预测图之间的差异)的显著性图。该模块首先将上一步输出的显著性图和交替的高维整合特征、低维整合特征进行通道维度的拼接，接着进行三次卷积，得到这一步的残差。然后将残差和上一步输出的显著性图进行像素级的加和，即可得到这一步的输出。

  3. 该模型采用了深度监督机制，每一个RRB模块的输出都需要进行一次监督。因此，总的loss是这些loss的加权和。

研究的成就

  1. 提出了R3Net，通过引入一系列的RRB模块渐进地改善、精细化显著性图。
  2. 引入了RRB模块，通过交替利用低级特征和高级特征来学习显著性预测和gt之间的残差。
  3. 在五个数据集上对比了16个sota的模型，实现了最好的效果。

评估方法

  • PR曲线，F-measure，MAE，S-measure和E-measure.

其他

  • SRM，Amulet，NLDF
  • 学习残差更容易，而且往往可以获得更好的效果。