E2Net论文笔记

引用格式

[1] Tang Y , Tang Y , Zhu Y , et al. E$^2$Net: An Edge Enhanced Network for Accurate Liver and Tumor Segmentation on CT Scans[C]// 2020.

研究的背景

  1. 3D模型计算代价很大，而且相比2D模型存在重采样问题。例如LiTS数据集中切片厚度从0.45~6.0mm变化，不利于分割，因此一种解决方案是在训练时将扫描结果采样到一个固定的厚度，但是那些小于此厚度的片会丢失重要的片间信息，同时那些厚于此厚度的片又会引入额外的误差。
  2. 使用边缘作为监督时，边缘像素和其他像素严重不平衡，会阻碍模型学习具有鉴别力的特征。以往工作使用加权loss来缓解这个问题。

使用的方法（创新点）

  1. 提出了一种两阶段的肝脏及肿瘤分割框架。第一阶段粗糙地分割肝脏，使用Res2Net作为backbone，并采用类似UNet的架构，此阶段使用的模型叫做R2UNet。第二阶段是一个边界增强网络，用于进行更准确的肝脏及肿瘤分割，其根据第一阶段的分割结果对原始图片进行剪切，然后将剪切后的图片作为输入。

    overview

  2. 设计边缘预测模块作为额外的分支来为分割分支提供互补信息，其架构也是R2UNet。

    architecture

  3. 设计了一个肝脏和肿瘤边界之间的边界距离图，用于作为一个额外的监督信号来训练网络。如背景所述，边界像素和其他像素的严重不平衡导致难以学习到高鉴别力的特征，此模块便是为了解决这个问题而设计的。首先，通过对边缘图像进行距离变换(distance transformation，每个像素的值表示该点到最近背景点的距离)得到一个距离图，然后将其和二值的mask相乘，并归一化到[0,1]之间，最后用1减去标准化之后的距离图作为监督，其中越靠近边缘的像素就拥有越大的值（这是因为解决越靠近边缘越难分割的问题）。

  4. 设计了一个深度交叉特征融合模块(DCFF)，用于精细化多尺度特征并交互边界特征和分割特征。此模块的设计是基于一种观察：相比于边界特征图，分割特征图$\times$边界特征图可以通过抑制非边缘区域来更好地表示边缘，相比于分割特征图，分割特征图+边界特征图可以通过抑制背景特征来更好地代表肝脏或中流区域。DCFF模块中，一个分支某个尺度的特征图会由另一个分支中所有大于等于此尺度的特征图进行精细化。例如$F_1^1$的精细化结果由$F_1^1,F_2^1,F_2^2,……,F_2^5$共同得到，使用F2改进F1时，要将F1下采样到F2的尺寸然后拼接，接着进行一系列的拼接卷积上采样，最后和F1直接加和得到改进的结果。使用F1改进F2的时候，只需要将拼接操作改为乘积即可。

  5. 模型的分割分支和边界预测分支的loss都是bce，但是bce只有像素级损失，因此还添加了IOU作为全局结构的损失。于是第一阶段的总loss就是bce和iou的和，第二阶段的总loss则有五项：分割的bce和iou，融合的bce和iou，以及边界的bce。

评估方法

  • Dice per case score、global Dice score以及RMSE

其他

  • LiTS和3DIRCADb数据集，The liver tumor segmentation benchmark(LiTS)，3D image reconstruction for comparison of algorithm database: a patient-specifific anatomical and medical image database
  • Automatic liver lesion segmentation using a deep convolutional neural network method
  • H-DenseUNet: hybrid densely connected UNet for liver and tumor segmentation from CT volumes
  • Automatic liver tumor segmentation in ct with fully convolutional neural networks and object-based postprocessing
  • Liver lesion segmentation informed by joint liver segmentation
  • Volumetric attention for 3d medical image segmentation and detection
  • Res2Net效果比resnet效果好，Res2Net+UNet=R2UNet