Dynamic Feature Integration for Simultaneous Detection of Salient Object, Edge and Skeleton

研究的背景

显著目标检测、边缘检测和骨架提取是三个差异明显的低级的像素级任务。
以往的联合训练需要数据集支持多种标注。
储存多个任务各自的预训练模型在移动设备上是不高效且不方便的做法。
挑战一：如何同时学习多种任务。
挑战二：如何解决不同任务特征域和优化目标的分歧。
面对挑战一时，以往工作往往使用一种任务辅助另一种任务，但是作为辅助的任务的性能会被牺牲和忽视。当面对挑战二时，如果待解决的任务是矛盾的，直接使用上述方法往往会失败。
三个任务都需要多级特征。SOD需要提取同类区域的能力，因此更多依靠高维特征；边界检测意图检测出准确的边界，因此需要更多低维特征来锐化粗糙的边界图；骨架提取更偏爱低中高维信息的恰当组合，借此来检测变化尺度的骨架。

使用的方法（创新点）

说明了三种任务共有的相似性，并解释了三种任务是如何被应用在一个统一的框架之中进行端到端训练的。首先使用ResNet50作为特征提取器，conv5中的3$\times$3的膨胀卷积的膨胀比例设置为2，此外在ResNet50的顶部添加了金字塔池化模块来获得更多的全局语义信息。接下来，作者没有人为地固定网络的特征整合策略，而是使用了一系列的动态特征整合模块(dynamic feature integration modules,DFIMs)——六个特征图resize到同样尺度然后进行拼接并送入DFI来动态地选择特征进行融合。接下来再使用任务自适应的注意力模块(task-adaptive attention module,TAM)来智能的为每个任务分配信息，防止网络的倾向性优化(比如只优化SOD，边界任务不管了)。最后将TAM的输出上采样并加和，然后通过1$\times$1卷积来生成最后的预测。
设计了动态特征整合模块(dynamic feature integration modules，DFIM)，它允许每个任务动态地从它们共享的backbone的不同级别选择特征，设计此模块的动机是以往工作证明了不同任务需要的特征是变化极大的，而且往往需要在一个数据集中有多种标注。该网络使用多个不同任务的独立的数据集进行训练，但是更容易遇到不同任务之间所需特征互相冲突的问题因此需要DFIM来解决。backbone中的特征拼接起来之后送入DFI，DFI会先将他们加和，然后使用GAP层来创造一个全局特征(长度为C)。之后对于每个任务，都会将全局特征送入该任务独有的全连接层中，并将通道转换成M个，然后使用softmax函数激活得到概率值，这个概率值被用于选择特征——大于均值的概率不变，小于均值的概率置零，然后将概率与对应的特征值相乘。DFIM模块的示意图如下图所示。
设计了一个任务自适应的注意力模块，旨在根据图像内容先验智慧地分配信息给不同的任务。先使用卷积层减少上采样之后加和操作的混淆影响，激活之后再次使用卷积层来映射跨通道信息，接着再次激活得到空间注意力图。这两次卷积的参数在各个任务之间是共享的(这就是在交换信息)。最后，注意力图与特征的乘积作为残差与原特征图加和得到TAM模块的输出。
损失函数。对于SOD，使用的是标准的二元交叉熵；对于边缘检测和骨架提取，使用的是平衡二元交叉熵。总的loss就是这三者的加和。

评估方法

MAE，PR，F-measure，S-measure

其他

H. Zhao, J. Shi, X. Qi, X. Wang, and J. Jia, “Pyramid scene parsing network,” in IEEE Conf. Comput. Vis. Pattern Recog., 2017.
J.-J. Liu, Q. Hou, M.-M. Cheng, J. Feng, and J. Jiang, “A simple pooling-based design for real-time salient object detection,” in IEEE Conf. Comput. Vis. Pattern Recog., 2019.
T. Wang, A. Borji, L. Zhang, P. Zhang, and H. Lu, “A stagewise refinement model for detecting salient objects in images,” in Int. Conf. Comput. Vis., 2017, pp. 4019–4028.