SCRN论文笔记

引用格式

[1] Wu Z , Su L , Huang Q . Stacked Cross Refinement Network for Edge-Aware Salient Object Detection[C]// 2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2020.

研究的背景

过往的研究主要集中在如何聚合预训练网络提取的富有判别力的多层次特征。
有研究者试图使用边界信息辅助训练，然而他们都只是使用边界信息来改进分割特征(比如使用边界损失)。
灵感来源于二元分割任务和边界图的逻辑关联：边界图中的边界区域是相对应的分割图中的目标区域的子集。

使用的方法（创新点）

设$M_S$为显著性图，$M_e$为边界图，前者会高亮整个显著目标区域，后者只会高亮边界部分，因此后者的高亮部分是前者高亮部分的子集。于是有如下两式：
$$
M_s \wedge M_e=M_e \tag{1}
$$

$$
M_s \vee M_e=M_s \tag{2}
$$

其中，上下箭头分别表示按像素的逻辑与和逻辑或。
在CRU中设计了两个特定方向的集成操作，并在两个任务之间双向地传递信息。如下两个式子分别代表用边界特征改进分割特征和用分割特征改进边界特征：
$$
S^i_{n}=S^i_{n-1}+f(S^i_{n-1},E_{n-1}) \tag{3}
$$

$$
E^i_{n}=E^i_{n-1}+g(E^i_{n-1},S_{n-1}) \tag{4}
$$

i(1-4)表示四个残差模块分别提取出的特征。n(1-4)表示四个堆叠的CRU各自的输出。在设计f、g两种函数时，存在两个问题。一个问题是如何在各个方向上整合特征。另一个问题是应该选择一个任务的多少个级别的特征来改进另一个任务的某个级别的特征。于是有了下面三种模式的CRU。
Point-to-Point style——一层优化一层

一个任务的每个级别的特征，都直接用另一个任务的对应级别的特征去改进它。也就是说$E^i_{n-1}$和$S^i_{n-1}$相互改进。在使用分割特征改进边界特征的时候，使用像素级的乘积来近似逻辑与操作：
$$
g=Conv(E^i_{n-1} \otimes S^i_{n-1}) \tag{5}
$$
$\otimes$是像素级别的乘积，Conv是32核的3×3的卷积层。在使用边界特征改进分割特征的时候，由于逻辑或是不可微的，因此不能直接用，于是提出了替换的策略：
$$
f=Conv(Cat(S^i_{n-1},E^i_{n-1})) \tag{6}
$$
Cat是在channel维度进行拼接，Conv是32核的3×3卷积。
Set-to-Point Style——所有层优化一层

在使用四个层级的分割特征改进边界特征的时候,
$$
g=Conv(E^i_{n-1} \otimes \prod_{k=1}^4 CU(S^k_{n-1})) \tag{7}
$$
其中$CU$是一个使用32核1×1卷积的比例变换操作，其目的是为了使分割特征和边界特征的尺寸一致。$\otimes$是像素级的乘积，$\prod$表示在像素级对所有的四个特征求连乘积。此外，
$$
f=Conv(Cat(S^i_{n-1},Cat^4_{k=1}[CU(E^k_{n-1})])) \tag{8}
$$
$Cat[*]$表示拼接某个CRU的所有层次的经过比例变换之后的边界特征。
Selective Set-to-Point Style——选择多层优化一层

在CNN提取多层次特征的过程中，随着网络的加深，特征中的干扰越来越少，于是由于低层次的特征中有太多的干扰，在SPS的基础上提出了SSPS，对特征进行选择，筛掉噪声多的特征。
$$
g=Conv(E^i_{n-1} \otimes \prod_{k=i}^4 CU(S^k_{n-1})) \tag{9}
$$

$$
f=Conv(Cat(S^i_{n-1},Cat^4_{k=i}[CU(E^k_{n-1})])) \tag{10}
$$

在SSPS中，一个任务某个层级的特征只由另一个任务中大于等于此层级的特征进行优化改进。比如$E^1_{n-1}$可以由$S^1_{n-1},S^2_{n-1},S^3_{n-1},S^4_{n-1}$进行优化，而$E^4_{n-1}$只能由$S^4_{n-1}$进行优化改进。
PPS、SPS、SSPS三种模式的效果对比如下：