Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization

引用格式

[1] Zhou Z , Qi L , Yang X , et al. Generalizable Cross-modality Medical Image Segmentation via Style Augmentation and Dual Normalization[J]. 2021.

研究的背景

训练数据和测试数据之间的分布转变通常会在部署训练好的分割模型期间导致严重的性能退化，这种分布转变可能是因为采集参数的不同，模态的不同亦或成像方法的不同。
泛化的跨模态分割(指的是给定单一源域，希望可以模拟不可见目标源域可能发生的变化，例如将用MRI训练的模型直接用于分割CT图像)，具有重要的临床意义，是一项很有挑战性的任务。
当前用于泛化跨模态分割的方法有域自适应(对测试集的要求很高)和域泛化(当前只能接受小的域转变，如cross-center，大的域转变不可以，如cross-modality)，作者希望建立一个域分布变换不敏感的模型。
在医学图像中，模态差异通常表现为灰度分布差异。IN可以保留不变的表示，BN可以保留富有鉴别力的特征。

使用的方法（创新点）

提出了一种在泛化分割中使用增强后的源相似和源不相似影像的双重归一化模型。首先用非线性变换(贝塞尔曲线)产生源相似和源不相似图像，接着使用基于双重归一化的模型(该模型使用共同的骨干网络，但是使用独立的BN层)，然后使用一种基于风格的选择机制来在测试阶段自动选择合适的路径。模型的整体架构如下图所示。
提出了风格增强模块。由于常见的医学图像模态都使用灰度图像，所以直接想到通过调整灰度值的分布来改变图像的风格。该模块使用贝塞尔曲线作为单调的非线性变换函数，将每个像素值从旧值映射到新值，且该变换只对前景区域进行。根据控制点位置的不同，分别生成了两个增函数和两个减函数，用增函数生成的新图就是源相似域，用减函数生成的新图就是源不相似域。

$$
B(t)=\sum_{i=0}^n\binom{n}{i}P_i(1-t)^{n-i}t^i,n=3,t\in[0,1]
$$
提出了基于双重归一化的网络。直接使用BN进行归一化可能会损失域特定的分布信息，导致泛化能力差，因此为了捕捉不同的域分布信息，采用两个不同的BN层来进行归一化，这就是双重归一化(dual-normalization，DN)。
提出了基于风格的路径选择模块。DN模块会保留统计参数$\mu_d和\sigma_d$和仿射参数$\gamma_d和\beta_d$，于是某个域的style embedding可以被表示为：$e_d=[e_d^1,e_d^2,e_d^3,\dots,e_d^L]=[(\mu_d^1,{\sigma_d^1}^2),(\mu_d^2,{\sigma_d^2}^2),(\mu_d^3,{\sigma_d^3}^2),\dots,(\mu_d^L,{\sigma_d^L}^2)]$，其中1到L指的是L个BN层，d指的是某个域。同理，我们可以通过对目标域的样本进行前向传播得到其统计信息，于是可以得到$e_t$，然后通过衡量$e_t和e_d$的距离，我们就可以衡量两个域的相似性，距离的计算公式如下：
$$
W(e_t^l,e_d^l)={\parallel\mu_t^l-\mu_d^l\parallel}_2^2+{\parallel\sigma_t^l-\sigma_d^l\parallel}_2^2
$$

$$
Dist(e_t,e_d)=\sum_{l\in{1,2,\dots,L}}W(e_t^l,e_d^l)
$$

当所有距离计算完成后，可以选择和目标域距离最近的源域的style embedding和仿射参数对目标域进行归一化。
模型的总loss是$D^{ss}$域上的Dice和$D^{sd}$域上的Dice之和。

评估方法

Dice，Hausdorff Distance