Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting

引用格式

[1] Zhang Y , Peng C , Peng L , et al. Multi-phase Liver Tumor Segmentation with Spatial Aggregation and Uncertain Region Inpainting[J]. 2021.

研究的背景

  1. SOTA的LiTS(liver tumor segmentation)通常通过期加权求和或基于通道注意力的拼接来融合跨期的特征。
  2. 这些SOTA的方法忽视了不同期间的像素级的空间联系，从而导致了差强人意的特征整合。
  3. 基于多期图像的分割可以综合不同期的互补信息，有助于进行更好的分割。

使用的方法（创新点）

  1. 设计了新的LiTS方法来充分聚合多期信息（用动脉期图像促进静脉期的LiTS）并精细化不确定区域的分割。相互引导编码器部分以ResNeXt-50为backbone，使用PV流和ART流提取特定期的特征，并用SAM进行双向聚合，使得二者可以互相指导特征的提取。解码器部分以四层聚合特征作为输入，产生初始概率图，此外通过双线性插值将所有输入上采样，再通过拼接和卷积进行融合。解码器顶端的不确定区域修复部分借助局部置信卷积操作，使用确定像素来修复相邻的不确定像素。

    architecture

  2. 设计了空间聚合模块SAM，它鼓励每个像素同不同期交互，来充分利用跨期信息。SAM挖掘宏观和局部的期间关系，并为每个期生成像素级的响应图，最后根据响应图逐像素地调制和融合多相位特征。对PV和ART期的输入使用通道维度的平均池化和最大池化操作，四者凭借组成描述器提取模块，目的是为了减少维度并保留信息特征。接着，分别对两个描述器使用GAP及三个卷积来学习局部和全局的期间互补关联。接着使用softmax生成两个响应图，这两个响应图作为权重矩阵，即可获得PV和ART输入的加权和$F_{Aggr}$，其会被送入解码器进行预测，此外，其还会被用于引导特征的提取：
    $$
    F_{PV}=(F_{Pv}+F_{Aggr})/2 \\
    F_{ART}=(F_{ART}+F_{Aggr})/2
    $$
    SAM和URIM模块的结构如下图所示：

    SAM_URIM

  3. 设计了不确定区域修复模块URIM，它使用临近的富有判别性的特征精细化不确定的像素。URIM的核心思想是使用确信的像素来修复周围不确定的像素：在LC-Conv中，一个滑动窗口内置信度较高的像素对滤波结果的贡献更大。其中，每个像素的分类置信度计算公式和局部置信卷积LC-Conv的计算公式为：
    $$
    M_{conf}=1-exp(1-S_{max}/S_{min}) \\
    x’=(W^T(X\otimes M_{conf}))/sum(M_{conf})+b
    $$
    其中x是当前滑动窗口的输入特征，w是卷积滤波器的权重，b是偏差。

评估方法

  • DPC，DG，VOE，RVD，ASSD，RMSD.
  • ablation

其他

  • 融合方法：
    1. 输入级融合(ILF)： Liver tissue segmentation in multiphase ct scans using cascaded convolutional neural networks.
    2. 决策级融合(DLF)： Co-heterogeneous and adaptive segmentation from multi-source and multi-phase ct imaging data: A study on pathological liver and lesion segmentation 、MC-FCN
    3. 特征级融合(FLF)：
      1. 期加权融合：MW-UNet
      2. 期注意力机制：PA-ResSeg