CVPR2017精彩论文解读：结合序列学习和交叉形态卷积的3D生物医学图像分割

3D医学图像的切割是医学图像执掌里一个很是紧要的事业，例如脑部MRI数据、肺CT数据和X光数据等等。现正在大大批的3D医学图像割据要领都只用了一个形状或把众个形状堆起来造成分别的通道，该事业中提出了一个包蕴交叉形状卷积层（cross-modality convolution layer）的深度编码-解码的搜集构造（deep encoder-decoder structure)来归并核磁共振的分别形状，还诈骗卷积LSTM来对2D切片序列修模，而且把众形状卷积和LSTM搜集纠合正在一道，做到端到端的研习。为了防范收敛到某一特定的类，咱们利用了权重政策和two-stage陶冶来执掌类不服均的情形。

该事业紧要针对利用核磁共振（MRI）对脑部肿瘤部位做切割。脑肿瘤如神经胶质瘤和胶质母细胞瘤有各式分别的式样，而且会浮现正在大脑的任何地方，对无误的定位肿瘤带来了离间。脑肿瘤手术扫描头部肿瘤的核磁共振有四种分别政策，自旋晶格弛豫（T1），T1-比拟（T1C），自旋自旋懈弛（T2）和流体衰减反转复原（FLAIR），对应着四种分别的形状，每一种扫描的政策对分别的肿瘤结构会有特定的反响，能够诈骗众种形状的核磁共振图像来自愿的分别肿瘤结构，辅助医师诊断。

该事业的紧要功绩是把众形状卷积和LSTM搜集纠合正在一道，做到端到端的对3D影像做切割。搜集构造的输入是众形状的核磁共振数据序列，能够给每个像素预测出肿瘤类型，模子紧要包蕴三个片面：众形状编码，交叉形状卷积和卷积LSTM。体例的详明框架如下图1，分别形状的切片被堆叠正在一道（b）然后传到众形状编码片面里分别的卷积搜集（一个卷积搜集对应一种形状），取得语义上的躲藏特性吐露（c），众个形状的躲藏特性正在交叉形状卷积层爆发鸠集（d），然后利用卷积LSTM来更好的发现络续切片的空间序列合系（e）。通过拼接2D的预测结果序列天生3D图像割据。模子归纳切片序列研习和众形状调解一道优化，造成一个端到端的体例。

图1 体例框架：(a)凭据切片为每个3D核磁共振形状（Flair, T2, T1, T1c）提取切片，(b)雷同深度的4个切片被堆叠正在一道，(c)每个堆内里4个切片被放到众形状编码器内里研习躲藏语义特性吐露，(d)诈骗交叉形状卷积来鸠集分别形状的新闻，(e)诈骗卷积LSTM来对络续的切片修模，(f)解码搜集用来对卷积LSTM的输出举行上采样，取得和输入图像相似的分别率，(g)最终的结果是对每个像素场所预测肿瘤类型，(h)堆叠2D的预测结果到3D的割据。

由于BRATS-2015陶冶集比力小，咱们欲望众形状编码器妥协码器的参数尽量少，防范过拟合。编码器是用和SegNet相像的构造，包蕴4个卷积层和4个最大池化层。每个卷积层用3X3的核来天生特性映照，然后通过batch Norm层和ReLU。最大池化层巨细为2，步长为2，下采样的因子为2。正在解码器搜集，每个解卷积层做转置卷积，然后用一个卷积和batch normalization。竣工上采样后，特性映照造成了和输入相似的分别率。咱们再把解码器的结果到众标签的soft-max分类器来输出每个像素每个类的概率。

用来调解统共的形状，正在众形状编码器之后，4个形状的切片被编码成了一个巨细为h*w*C的空间，w和h是特性的维度，C是通道，咱们把4个形状统一个通道的切片放到一道，造成C*4*h*w的特性空间，然后用核为4*1*1的核来做3D卷积。如许同时归纳了空间新闻和分别的形状新闻。

交叉形状卷积相当于给4个形状配置了权重。众形状编码器输出的特性是4*h*w*C的，咱们reshape成C*h*w*4的然后做交叉形状卷积。

该事业利用一个端到端的切片序列研习框架去修模切片之间的联系性。利用带卷积的LSTM，和日常的LSTM区别是，正在输入到初始形态以及形态之间的变化，卷积LSTM（convLSTM）把矩阵乘法替代为卷积操作，如许就保存了较长系列的空间新闻。

1.BRATS-2015数据集的类告急不服均，模子容易收敛到预测一共的像素为没有肿瘤题目，利用了median frequency平均法，正在交叉熵loss函数设定了一个权重。

2.两阶段陶冶：第一阶段只采样包蕴了肿瘤题目的切片，然后用median frequency要领来裁减大类的权重，正在第二阶段，低重研习率，去掉median frequency，让散布亲切线.正在第一阶段陶冶中，避免采样到空的序列（统共切片都是寻常的大脑结构）。陶冶LSTM的时刻，利用正交初始化来执掌梯度没落的题目。

缺陷这篇论文有一点小瑕疵，固然提到KU-Net模子是和他们要领最联系的模子，可是正在最终实习片面提了由于KU-Net没有公然源码而没有举行实习比拟，这种来由比力少睹，个别以为既然很联系，应当把别人的算法杀青，然后跟他们的结果作比力才比力有说服力。