Rethinking the U-shape Structure for Salient Object Detection

研究的背景

  1. 对于现有的U型网络,工作大都集中在增强编码器的特征提取能力和增强解码器的多尺度特征聚合能力上,而忽略了他们之间的连接。
  2. 只要有空间插值就会带来不好的影响。
  3. 感受野的尺寸并不是越多越好,太多的多样性会分散后续层的注意力。

使用的方法(创新点)

  1. 整体流程。整体采用U型架构,不同点在于使用了CII模块将多尺度信息编码到共享filter,又因为CII的输入特征是多尺度的,因此又使用RGC模块通过自适应地利用与每个不同输入尺度有关的相对全局信息,实现了基本全局语义和局部纹理之间的平衡。

    architecture

  2. 提出了中心化信息交互模块(centralized information interaction,CII),这是一种策略而非固定的模块,其核心思想是不将多尺度信息编码进特征,而是将多尺度信息编码进共享的可学习卷积核中。没有像经典U型网络那样直接将encoder提取的特征传递到decoder,CII使用了一系列相同的信息交互器(所谓相同其实是指参数共享)来与编码在它们中的信息进行交互。

  3. 提出了相对全局校准模块(relative global calibration module,RGC)。作者本来想使用PPM、ASPP、SE等作为CII中的信息交互器,但是发现效果都不好,于是提出了新模块。它包含两个并行分支,分别负责局部信息保留(左)和相对全局信息压缩(右)。

  4. 效果对比。

    comparison

  5. loss。BCELoss+IOULoss是总loss。

评估方法

  • PR、F-measure、S-measure、MAE。