UCF论文笔记

引用格式

[1] Zhang P , Dong W , Lu H , et al. Learning Uncertain Convolutional Features for Accurate Saliency Detection[C]// 2017 IEEE International Conference on Computer Vision (ICCV). IEEE, 2017.

研究的背景

• 显著性目标检测是计算机视觉的预处理程序，尽管有了一些进步，但是在现实场景中有许多复杂因素，因此还面临着许多困难。因此作者旨在提高模型的鲁棒性。
• 最初依靠的是手动制作的视觉特征和启发式的先验知识，后来使用的是基于深度学习的方法。但是DL方法缺乏可解释性，有许多不确定特征，如果不确定特征可以提供诸如显著物体的边界等信息，就可以极大地提升模型的表现。
• 奇怪的伪影(例如棋盘效应)对深度卷积网络可能是致命的，比如出现在FCN的输出层，训练就会失败，预测会完全错误。
• dropout被证明可以提高全连接层的泛化能力，但是缺少对其它类型的层的影响的研究。

研究的灵感

• 棋盘效应来源于使用反卷积操作的上采样机制，如果卷积核大小不能被步长整除，反卷积操作会出现重叠问题，导致出现棋盘效应。https://distill.pub/2016/deconv-checkerboard/

• 通常的反卷积操作可以看做是对输入插入零之后进行卷积操作。https://blog.csdn.net/dugudaibo/article/details/83109814

• 伪影(artifacts)同样和深度卷积网络的不确定特征学习有关。

使用的方法（创新点）

• 引入reformulated dropout(R-dropout)，放在卷积层之后，二者结合可以构建一个不确定的内部特征单元的集成。dropout是在输出的结果上乘了一个二进制掩码矩阵，矩阵中的元素服从伯努利分布。R-dropout只是交换了顺序。

• 提出了有效的混合上采样方法来减轻解码器网络中反卷积操作的棋盘效应，使预测更平滑。第一个分支是将卷积核的尺寸严格限制为步长的倍数；第二个分支是通过插值方法将原图像转换到需要的尺寸，然后进行1*1的卷积；最后将两个分支叠加即可。

• 模型很简单，由编码FCN（层次化的学习视觉特征）、解码FCN（渐进地上采样编码的特征图）以及softmax组成。

研究的成就

• 本文的工作：提出了新型的深度全卷积网络，通过学习深度的不确定卷积特征，提高SOD的鲁棒性和准确性。
• 相比原有的显著性检测模型，UCF可以通过结合不确定特征，来更精确的进行目标边界推断。
• 不确定特征学习机制和混合上采样方法可以显著提升其他像素级别视觉任务的表现。
• 论文实现有个小trick可以尝试，最后输出channel为2的结果，一个channel是前景预测，一个channel是背景预测图，然后相减得到结果。可以将扩张和收缩之后的图（对二值图进行操作）分别和原二值图相减，即可得到扩张或收缩的部分。

评估方法

• PR曲线和F-measure以及MAE