DSS论文笔记

引用格式

[1] Hou Q , Cheng M M , Hu X , et al. Deeply Supervised Salient Object Detection with Short Connections[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2017.

研究的背景

• 近年的模型都是基于FCNs的，但是都没有特地处理尺度空间的问题。
• 可以精确处理尺度空间问题的整体嵌套边缘检测器（HED）为边缘检测任务提出了一个具有深度监督的跳层结构，相比通用FCNs实现了较大的提升，但 HED 在显著性检测方面性能提升不明显。

研究的灵感

• 深层的输出对高级语义特征进行编码，因此能够更好地定位显著物体所在的地方。
• 较浅层的输出可以捕获丰富的空间信息，保存更多的细节信息。
• 因此想法与FCNs中的跳跃连接结构相同，都是通过合理地结合多层次，多尺度的特征(既包括深层也包括浅层，既包括大尺寸也包括小尺寸)，来更好地改进显著性图。于是就在HED结构中将短连接引入到了跳层结构中，从较深的层引出到较浅的层，在深层语义信息的帮助下，浅层侧向输出可以既准确地预测到显著的物体又可以利用浅层侧向路径的细节特征来优化来自深层侧向路径的粗糙的预测图。
• 边缘检测是一个更加简单的任务，因为它不依赖于很多的高层语义表征（边缘显然是一个比较浅层的信息）。这是为什么HED 模型中具有深度监督的跳层结构不能在显著性检测任务上带来明显的提升的原因。
• 总体思想是将跳跃连接结构和深度监督思想都引入新模型。

使用的方法（创新点）

• 在 HED 架构中引入短连接至跳层结构中
• 充分地利用了 FCNs 提取的多层次和多尺度特征，在每一层都提供了更高级的表征，而这一特性是进行分割检测所迫切需要的
• 我们提出了一个用于显著性物体检测的深度监督网络。我们没有将损失层直接连接到每一阶段的最后一层，而是在较浅和较深的侧面输出层之间引入了一系列的短连接。有了这些短连接，每个侧向输出层的激活都能获得突出整个显著性物体和准确定位其边界的能力。一个全连接的 CRF也被用于纠正错误的预测并进一步提高空间一致性。
• 高级特征可以被传送到较浅的侧向输出层中并因此可以帮助它们更好地定位最显著的区域
• 浅层的侧向输出层可以学习到丰富的低级特征，从而可以帮助调整深层侧向输出层产生的稀疏的、不规则的预测图
• 通过结合不同层次的特征，所形成的架构在每一层都提供了丰富的多尺度特征图，这一特性是进行有效的显著性物体检测所必需的。

研究的成就

• 本文的工作：建立了端到端的深层次显著性网络，这是一种两阶段模型。第一阶段：显著性物体定位阶段；第二阶段：细节特征精炼阶段。在第二阶段中，将短连接从深层侧向输入引入到浅层侧向输出，以生成精细的显著性图。此外也使用了深度监督的思想，构造了side_loss和fusion_loss。它输入图片和groun-truth，输出显著性图。

评估方法

• PR曲线和F-measure以及MAE