CVPR2017精彩论文解读：结合序列学习和交叉形态卷积的3D生物医学图像分割

本篇文章2028字，读完约5分钟

雷锋。(公开号码:雷锋。ai科技评论:尽管2017年cvpr已经结束，精彩论文的解读仍在继续。以下是怡园智能首席科学家刘凯在本次会议上发表的“三维生物医学分割的联合序列学习和跨模态卷积”一文的解释。

三维医学图像切割背景

切割三维医学图像是医学图像处理中的一项非常重要的工作，如脑磁共振数据、肺ct数据和x光数据。目前，大多数三维医学图像分割方法只使用一种形状或者将多种形状叠加到不同的通道中，本文提出了一种包含跨模态卷积层的深度编解码结构来结合核磁共振的不同模态，二维切片序列采用卷积lstm建模，多模态卷积和lstm网络相结合实现端到端学习。为了防止收敛到某一特定的班级，我们采用了加权策略和两阶段训练来处理班级的不均衡性。

这项工作的主要目的是用核磁共振技术切除脑肿瘤。脑肿瘤，如神经胶质瘤和胶质母细胞瘤，有各种各样的形状，可以出现在大脑的任何地方，这给准确定位肿瘤带来了挑战。在脑肿瘤手术中有四种不同的头部肿瘤磁共振扫描策略，包括自旋晶格弛豫(t1)、t1-对比(t1c)、自旋自旋弛豫(t2)和流体衰减反转恢复(flair)，它们对应于四种不同的形式。每种扫描策略对不同的肿瘤组织都有特定的反应，各种形式的磁共振成像图像可以用来自动区分肿瘤组织，帮助医生进行诊断。

网络结构

这项工作的主要贡献是将多形式卷积与lstm网络相结合，实现三维图像的端到端切割。网络结构的输入是多模态核磁共振数据序列，可以预测每个像素的肿瘤类型。该模型主要包括三个部分:多模态编码、跨模态卷积和卷积lstm。系统的详细框架如下图1所示。不同形状的切片被堆叠在一起(B)，然后被传输到多形状编码部分中的不同卷积网络(一个卷积网络对应于一个形状)，以获得语义隐藏特征表示(C)。在交叉形状卷积层(D)聚集多个形状的隐藏特征，然后使用卷积lstm更好地挖掘连续切片，通过拼接2d预测结果序列生成3d图像分割。该模型通过集成切片序列学习和多模态融合进行优化，形成端到端系统。

图1系统框架:(a)根据切片为每个三维核磁共振模态(flair，t2，t1，t1c)提取切片；(b)具有相同深度的四个切片堆叠在一起；(c)将每个堆栈中的四个切片放入多模态编码器中学习隐藏语义特征表示；(d)不同模态的信息通过跨模态卷积进行聚合；解码网络用于对卷积lstm的输出进行上采样，以获得与输入图像相同的分辨率；最终结果是预测每个像素位置的肿瘤类型；将二维预测结果叠加到三维分割中。

系统的三个主要部分:

(1)编码器和解码器

由于brats-2015训练集相对较小，我们希望多模态编码器和解码器的参数尽可能少，以防止过度拟合。编码器使用类似于segnet的结构，包括四个卷积层和四个最大池层。每个卷积层使用3×3核生成特征映射，然后通过批处理范数层和relu。最大池层大小为2，步长为2，下采样因子为2。在解码器网络中，每个反卷积层执行转置卷积，然后使用卷积和批量归一化。向上采样后，要素图的分辨率与输入的分辨率相同。然后，我们将解码结果发送到多标签软最大分类器，以输出每个像素和每个类别的概率。

(2)交叉形态卷积

用于融合所有形式，经过多形式编码器，四种形式的切片被编码成大小为h*w*c的空，w和h是特征尺寸，c是通道。我们把同一通道中的四种形态的切片放在一起，成为c*4*h*w/”的特征，这样，空之间的信息和不同形态的信息就同时得到整合。

交叉形态卷积相当于为四种形态设置权重。多模态编码器的输出特征是4*h*w*c，我们将其整形为c*h*w*4，然后进行交叉模态卷积。

(3)切片序列学习

这项工作使用端到端切片序列学习框架来建模切片之间的相关性。具有卷积的lstm与普通lstm的区别在于，在从输入到初始状态的转换期间以及在状态之间，lstm(convlstm)用卷积运算代替了矩阵乘法，从而保留了空.之间的长系列信息

除了方法的创新之外，在应用中还有一些好的窍门，例如:

1.brats-2015数据集严重不均匀，因此该模型易于收敛以预测所有像素都没有肿瘤问题。使用中值频率平衡方法，并在交叉熵损失函数中设置权重。

2.两阶段训练:在第一阶段，只对包含肿瘤问题的切片进行采样，然后使用中值频率方法来降低大类别的权重。第二阶段，降低学习率，去除中值频率，使分布接近真实分布。

3.在训练的第一阶段，避免采样空序列(所有切片都是正常的脑组织)。在训练lstm时，使用正交初始化处理梯度消失问题。

缺点

这篇论文有一点小瑕疵。虽然提到ku-net模型是与他们的方法最相关的模型，但在最后的实验部分，提到ku-net没有开放源代码，也没有进行实验比较。这个原因比较少见。就个人而言，因为它非常相关，所以我们应该实现其他人的算法，然后将它们与他们的结果进行比较，以便更有说服力。

地址:arxiv/ABS/1704.07775

雷锋文章版权所有。严禁擅自转载。详情请参考转载说明。