CVPR最新医学影像AI论文：利用学习图像变换进行数据增强

雷锋网按：不日，由麻省理工学院（MIT）电子工程与推算机科学（ECCS）尝试室众位博士所著的医学影像AI论文被CVPR 2019收录。

该团队为通晓决医学图像标注数据缺乏的题目，提出了通过进修图像的变换（transforms）举行数据巩固的半监视离散举措。以下为论文仔细内容，由雷锋网AI掘金志学术组小烟与卡卡编译。合怀“AI掘金志”大众号，正在对话框复兴症结词“CVPR”，即可获取原文PDF。后续咱们也将络续推送2019 CVPR最新医学影像AI作品。

生物医学图像离散是很众医学运用中的紧张义务。基于卷积神经收集的离散举措固然准确度到达了state-of-the-art，然而平常需求依赖于带有大型标注数据集的监视锻练。医学图像的标注需求豪爽的专业学问和岁月，而且正在大范畴上是不行行的。为通晓决缺乏标注数据的题目，探求职员平常运用人工预统治、手动调治架构和数据巩固等技能。然而，这些技能涉及纷乱的工程作事，而且平常针对特定的数据集。于是MIT的团队提出了用于医学图像的主动数据巩固举措。

正在one-shot磁共振成像（MRI）脑部离散这一现实离间中，MIT团队提出的半监视举措只需求单个有人工标注的数据以及其他没有标注的数据。最先从图像中进修变换模子，通过该模子及已标注样例再来合成异常的标注样例举行锻练。每个变换由空间变形场（spatial deformation field）和强度（intensity）转变构成，不妨合成纷乱的效率，比如剖解学和图像搜罗步伐的转变。通过这些新样例巩固有监视离散模子的锻练，相较于one-shot生物医学图像离散的state-of-the-art举措有了明显的鼎新。

图像语义离散对付很众生物医学成像运用至合紧张，比如举行人丁领会，疾病诊断和诊治筹划等。当有足够的标注数据时，有监视的基于深度进修的离散举措可能发作最准确的结果。然而，正在医学图像数据集方面具有很大离间。

图1：生物医学图像正在剖解机合，比较度和纹理方面常常转变很大（顶行）。与其它one-shot离散举措（底行）比拟，咱们的举措不妨更精确地离散剖解机合。

为了制胜这些离间，很众有监视的生物医学离散举措埋头于人工安排预统治步调和架构。运用手动调治的数据巩固来扩展锻练样本的数目也很常睹，诸如随机图像挽救或随机非线性变形之类的数据巩固成效，而且已被外明正在某些例子中有用地降低了离散精确度。然而，这些成效模仿众样化和实际的例子的本事有限，而且或者对参数的拣选高度敏锐。

于是，MIT团队创议通过进修合成众样且实正在的标注样例来治理标注数据数目有限的离间。总的流程如图2所示。为了履行数据巩固，咱们将变换τ(k)运用于标志的图谱（atlas） x。咱们首进步修孤独的空间和外观变换模子，以拘捕标志的图谱和每个未标志的体积之间的剖解和外观不同的散布。运用两个进修模子，咱们通过将空间变换(spatial transform)和外观变换(appearance transform)运用于图谱集，并通过运用空间变换扭曲图谱标签map来合成标注体积。

与 single-atlas离散受到空间变换模子中的不确定性或偏差的影响比拟，咱们运用不异的空间变换来合成体积和标签图，确保新合成的体积被确切标志。这些合成样例造成标志数据集，其外征未标志数据聚积的剖解学和外观转变。与atalas一同，这个新的锻练集不妨锻练有监视的离散收集。

图2：所提举措的概述。 咱们进修独立的空间和外观变换模子来缉捕图像数据聚积的转变。 然后，咱们运用这些模子来合成标志示例的数据集。 该合成数据集用于锻练监视的离散收集。

MR图像强度由于特定对象的噪声，扫描仪同意和质地以及其他成像参数的转变而转变，于是很众现有的离散举措依赖于数据预统治来减轻这些与强度干系的离间。 预统治举措的运转本钱很高，而开采实正在数据集的技能是目前较热门的探求规模。咱们的巩固举措从另一个角度统治这些与强度干系的离间：它不是去除强度转变，而是使离散举措对MRI扫描的自然转变具有鲁棒性。

豪爽经典离散举措运用基于图谱的或图谱领导的离散，个中运用变形模子将标志的参考体积或图谱与宗旨体积对齐，而且运用不异的变形来传布标志。当有众个舆图集可用时，它们每个都与宗旨体积对齐，而且与扭曲的图谱标签调解。正在基于图谱的举措中，通过变形模子拘捕对象之间的剖解学转变，而且运用预统治或强度鲁棒性算法（比如归一化互干系）来减轻强度转变的离间。然而，构制外观的朦胧性（比如，朦胧的构制界限，图像噪声）依旧或者导致不精确的配准和离散。咱们的宗旨是通过正在分歧的实际样例上锻练离散模子来治理这一范围性，使离散模子对这种朦胧性尤其鲁棒。咱们埋头于简单图谱，并外明咱们的举措优于基于图谱的离散。即使有众个离散样例可用，咱们的举措可能操纵它们。

为了减轻大型标志锻练数据集的需求，许众举措平常联络手工安排的预统治和架构巩固数据。半监视和无监视的举措也被提出来应对小锻练数据集的离间。这些举措不需求成对的图像和离散数据。相反，他们操纵离散数据的鸠合来修筑剖解先验，锻练分裂收集，或锻练别致的语义管束。 现实上，图像鸠合比离散数据更容易取得，咱们的举措不是依赖于离散标注，而是操纵一组无标签的图像。

形式和外观的模子曾经用于百般图像领会。正在医学图像配准中，空间变形模子用于设立图像之间的语义对应干系。这个成熟的规模涵盖了基于优化的举措，以及近来基于进修的举措。

咱们操纵Voxel Morph（一种近来的无监视进修举措）来进修空间变换。很众配准举措都注重于强度归一化图像或与强度无合的宗旨函数，并没有清楚评释图像强度的转变。

对付非准绳化图像，空间和外观变换模子一同用于记实纹理或外观以及形式分歧的对象。很众作品设立正在Morphable Models或Active Appearance Models（AAMs）的框架之上，个中修筑了形式和纹理的统计模子。正在医学规模，AAM已被用于定位剖解象征并履行离散。咱们通过运用卷积神经收集来进修无管束空间和强度变换场的模子，从而修筑这些观点。 咱们不是以配准或离散为最终宗旨进修变换模子，而是从这些模子中举行抽样，以合成新的锻练样例。正如咱们正在尝试中所示，以这种办法扩展锻练集举行离散可能发作比直接运用变换模子履行离散更鲁棒。

咱们的宗旨是拘捕图谱和未标志体积之间的变换散布，每个变换模子通过一个卷积神经收集来进修（如图3所示）。鉴戒Morphable模子和AAM，咱们独立优化空间和外观模子。

对付咱们的空间模子，咱们操纵Voxel Morph，这是近来一种无监视的基于进修的举措，具有开源告终。Voxel Morph进修输出滑润位移矢量场（smooth displacement vector field），通过笼络优化图像相像性耗损和位移场滑润项来将一个图像记实到另一个图像。 咱们使东西有归一化互干系的Voxel Morph变体举动图像相像性耗损，使得不妨用非准绳化的输入体积猜度一个参数函数。咱们运用肖似的举措来进修外观模子。

图3：咱们运用基于U-Net架构的卷积神经收集来进修每个变换模子。 变换运用于空间模子的空间扭曲，以及外观模子的体素增添。 每个卷积运用3×3×3个内核，然后是Leaky Re LU激活层。 编码器运用最大池化层来低浸空间辨别率，而解码器运用上采样层。

正在基于图像的监视进修义务中，平常运用诸如挽救和缩放的大略参数化变换来履行数据巩固。 正在医学成像规模中，随机滑润流场（random smooth flow fields）平常用于模仿剖解学转变。 这些参数化变换可能削减太甚拟兼并降低测试本能。 然而，这些变换所带来的本能增益跟着变换函数和参数集的拣选而转变。

近来的作事提出了从数据进修数据扩充转换。 Hauberg et al. 埋头于数据扩展，用于分类MNIST数字。 他们进修数字特定的空间变换，并对锻练图像和变换举行抽样，以创筑旨正在降低分类本能的新示例。 除了空间模子之外，咱们还进修了一个外观模子，而且咱们埋头于MRI离散的题目。

Ratner et al. 提出了一种半主动化的举措来进修数据巩固的空间和颜色转换。 它们依赖于用户输入来创筑大略参数化变换函数的组合（比如，挽救和比较度巩固）。他们进修运用天生分裂收集天生转换函数的新组合。 比拟之下，咱们的举措是全体主动化的。

咱们运用基于A. G. Roy et al. 提出的最进步的收集架构来外明这一点。 为了思量GPU内存局限，收集被安排为一次离散一个切片。 咱们运用巩固锻练集的随机切片锻练收集，并运用早停正在验证集上拣选锻练迭代的数目。 咱们夸大准确的离散收集架构不是这项作事的中心，由于咱们的举措可能与任何监视的离散收集联络运用。

正在尝试数据上，作品运用了来自8个公然数据库的T1加权MRI脑部扫描数据，选择个中101个图像举动锻练集，50个为验证集，100个测试集，每个图像都有30类标签。正在举行比较尝试时，作家将作品举措与单图集离散（SAS）、单图集离散数据巩固（SAS-aug）（运用锻练过单个图像的模子离散锻练集发作的数据举行锻练）、手动调治数据巩固（rand-aug）、全监视离散这些举措举行比较。同时，作家提出了基于作品数据巩固举措的三个变种，即独立采样（ours-indep）、耦合采样（ours-coupled）、独立采样+手动调治数据巩固（ours-indep + rand-aug）。

正在评测离散结果时，作品采用了医学离散常用的骰子分数(Dice)，推算测试集上100个测试样本的30类标签的均匀值。外格1展现了各个举措的均匀Dice以及相对付单图集离散举措（SAS）的晋升，可能看出作品举措结果明显优于之火线法，个中的Ours-indep + rand-aug举措比起SAS，Dice有了5.6个百分点的降低。图4为各举措Dice晋升的箱体图，咱们可能昭着看到作品的举措相较于rand-aug离散结果相同性更好。图5为100个测试集图像离散结果相较于SAS的降低，可能看出ours-indep + rand-aug正在每个图像上的结果永远仍旧最优。图6证据rand-aug低浸区域较小的机合的离散结果。图7展现了海马体的离散结果。

外1：遵循Dice分数评估离散本能，正在100例脑MRI测试集上评估。 咱们申报了全体30个剖解标签和全体100个测试对象的均匀Dice评分（以及括号中的准绳缺点）。 咱们还申报了SAS基线上每种举措的均匀成对鼎新。

图4：正在全体测试例子中与SAS基线比拟的均匀Dice分数（正在全体30个剖解标志上推算的均匀值）的成对革新。

图5：对付每个测试样本与SAS基线比拟的均匀Dice得分（正在全体30个剖解标志上推算的均匀值）的成对革新。 样本按咱们举措的Dice鼎新来排序（ours - indep + rand-aug）。

图6：百般大脑机合中每种举措的离散精确性。 括号中显示了图谱中每个标签霸占的大脑百分比。 标签按图谱中每个机合的体积排序，而且组合由左到右机合（比如海马）构成的标签。 咱们缩写标签：白质（WM），皮质（CX），心室（vent）和脑脊液（CSF）。

作家考试领会举措有用性的情由，ours-coupled与SAS-aug两种举措都发作了100个新的锻练集，而前者效率要优于SAS-aug，作家正在反省了发作的测试及后思量到了两个身分。一方面ours-coupled举措以与标签不异的来扭曲图像，确保扭曲的标签与变换的图像结婚。另一方面SAS-aug将不完善的扭曲标签与 不确切的图像纹理配对。如图9所示，作品举措合成的海马体图像与实正在的海马体图像的纹理尤其相同。

总结来说，作品提出了一种基于进修的数据巩固举措，并正在one-shot医学离散前进行了测试。作品运用基于进修的举措，来模仿标志和未标志示例之间的空间和外观变换，并运用它来合成新数据和标签。正在测试聚积的每个示例上的效率都超涌现有的单次离散举措，亲热全体监视模子的本能。该框架合用于很众场景，比如正在临床上，因为岁月局限仅准许手动说明少量扫描的场面。这项作事证据白从未标志的图像中进修独立的空间和外观变换模子，可能合成百般传神的标志示例；这些合成示例可用于锻练离散模子，该模子正在one-shot离散中优于现有举措。雷锋网