FPN与U-Net对比

相同点:

  • 都采用了bottom-up和top-down的结构,并且都采用了横向连接的结构。

不同点:

  • FPN用于检测任务,U-Net用于分割任务。
  • FPN大多作为一个可嵌入的模块嵌入网络,U-Net本身就是网络,可以被其他模块嵌入。
  • FPN融合多尺度特征图使用的是像素级的加和之后跟一个1$\times$1的卷积,U-Net采用的是拼接之后跟一个1$\times$1的卷积层。
  • FPN对top-down过程中的每个stage都进行了预测,而U-Net只使用了top-down过程中的最后一个stage来进行预测。
  • FPN上采样的方式是插值,无需学习,U-Net上采样的方式是deconv,可以学习。
  • FPN的高层特征放大2倍后与低层的尺寸恰好一致,而在UNet中通常不一致,还需要对低层特征做crop使得与放大后的高层特征尺寸一致。
  • 上采样时无论是使用插值还是转置卷积,都无法还原真实的特征值,有一定程度失真。上采样后再做特征融合,就会导致特征产生混叠。从信号学的角度来看,若要还原,可以改变采样频率或者使用滤波器。而卷积本身就是一种滤波器,因此FPN特征融合后就使用卷积对融合后的特征进行处理。而在U-Net中除了对融合特征进行滤波外,还起到了压缩通道的作用。