Nature：为高维度医学成像设计可临床转化的人工智能系统

本文来自于《 nature machine intelligence》。作家Rohan Shad是Hiesinger试验室气度外科系博士后探讨员。他和团队为血汗管成像（超声心动图和心脏 MRI）修建新型谋划机视觉体系，而且应用转录组学和卵白质打算探讨心脏病的潜正在机制，为主要心力衰竭患者打算配置。

文中钻探了高维临床影像数据所面对的特有挑衅，并夸大了开垦呆板进修体系所涉及的少少技艺和伦理方面的研究，更好地展现了影像形式的高维性子。别的，他们以为考试处分可声明性、不确定性和意睹的门径应被视为全盘临床呆板进修体系的主旨构成局限。

2018年，美邦邦度卫生探讨院确定将人工智能纳入医学成像改日发达的核心界限，而且为图像收罗、算法、数据法式化和可转化的临床决议援救体系的探讨同意了根柢途径。

陈述中提到，虽然数据的可用性、对新型谋划架构的需乞降可声明的人工智能算法等正在过去几年依然获得了重大的起色，但目前依然是一个合头性题目。

别的，正在早期的开垦经过中，还必需研究到数据共享的转化对象、为监禁部分照准而实行的功能验证、可执行性以及减轻偶然的意睹等题目。

然而，操纵人工智能体系来协助结束临床职分詈骂常具有挑衅性的。呆板进修算法的宗旨是削减临床臆度所需的功夫。但正在临床中实行操纵，有可以偶然中会拖延患者的调理。当摆脱可把持的试验室境遇时，人工智能体系的终端用户必需可以把持输入质料，而且可以处分搜集延迟等题目，打算出将这些体系整合到既定临床执行中的门径。

早期对可转换的临床呆板进修的考试解释，打算的体系要正在既定的临床就业流程中寻常就业，就必必要正在算法开垦之初就做出洪量的整合勤苦。由于正在改日安插该体系时，迭代的时机万分有限。

跟着开源呆板进修软件库的日益增加和谋划机功能的一向进取，探讨职员越来越容易开垦出庞杂的针对特定临床题目的人工智能体系。除了检测疾病诊断的特色外，下一代人工智能体系必需研究熬炼数据的体系意睹，更为直观地指导终端用户预测中固有的不确定性，并同意用户可以摸索和声明预测的机制。

该意见以这些合头的优先界限为根柢，以加快医学界限的根柢人工智能探讨。咱们概述了数据集的细小区别和高维医学成像呆板进修的的确架构防卫事项，同时计议了这些体系的可声明性、不确定性和缺点。正在此经过中，咱们为有趣味处分修建临床可翻译 AI 体系，所带来的少少题目和挑衅的探讨职员供应了一个模板。

咱们估计，正在可意思的改日，可用的高质料 AI-ready 注解的医学数据集将依然不行餍足需求。回过头来分派临床底细标签必要临床专家进入洪量的功夫，况且将众机构的数据汇总起来公然垦布也存正在很大的阻挡。除了必要以正在硬放射学确凿标签上熬炼的模子为特色的“诊断人工智能”之外，还必要遵循潜正在的更庞杂的临床归纳结果对象熬炼的 疾病预测人工智能 。具有法式化的图像收罗和议和临床根本底细裁决的前瞻性数据收罗，是修建具有配对临床结果的大范围众中央成像数据集的须要方法。

大范围的众中央成像数据集会发生很众隐私和职守题目，这些题目与文献中嵌入的潜正在敏锐数据相合。医学数字成像和通讯（DICOM）法式广大被用来搜捕、存储和供应医学图像的就业流程执掌。成像文献（以.dcm文献或嵌套文献夹布局的款式存储）蕴涵像素数据和合联元数据。稠密的开源和专有用具能够助助对 DICOM 文献实行去识别化。后端病院新闻学框架，如Google Healthcare API，是一种肃除可以蕴涵敏锐新闻的元数据域的门径，也通过 平安列外 援救DICOM去标识化。

正在面向用户方面，MIRC 临床试验打点器匿名器是一种时髦的代替门径，虽然它必要应用某些遗留软件。有据可查的Python软件包（如pydicom）也可用于正在应用或转给合营机构之前打点DICOM文献。然后能够提取成像数据并以种种呆板可读体式存储。这些数据集能够急速变得伟大且迟钝，固然数据存储体式的细节跨越了本意见的计议限制，但医学成像 AI 的一个合头研究身分是图像辞别率的保存。

主动去识别门径或剧本每每被提及的一个差错是受偏护的壮健新闻有可以被 刻录 正在影像文献中。虽然有DICOM法式，但制作商的分歧，使得难以通过 MIRC 临床试验打点器等用具来天生简便的法规，以障蔽可以位于受偏护壮健新闻的区域。咱们发起应用一个简便的呆板进修体系来障蔽 烧录 的受偏护壮健新闻。

以超声心动图为例，有一个预订义的扫描区域，正在那里能够看到心脏。其他潜正在的拔取是基于呆板进修的光学字符识别用具，以识别和障蔽有印刷文本的区域。DICOM标签自身可用于提取扫描级新闻和特定形式的标签。比方，正在超声心动图和心脏磁共振成像 (MRI) 的环境下，能够轻松地从 DICOM 元数据中提取紧要的扫描级别新闻，比方收罗帧速度和日期或 MRI 序列 (T1/T2)。

图1：基于云的互助式注解就业流程。基于云的用具可用于天生专家注解数据集，并通过平安毗连与临床专家实行评估。图为MD.ai的一个执行计划，此中临床专家实行种种 2D 检测以测评心脏成效。

关于涉及人工智能体系与临床医师实行正面基准测试的探讨就业，或正在临床注解者的助助下计划大型数据集，咱们发起以DICOM体式存储扫描的副本。如许就能够通过可扩展和易于应用的云端注解用具实行安插。目前有几种处分计划用于分派扫描数据供临床专家评估。恳求的限制可以从简便的扫描级标签到详尽的特定界限的剖解学肢解掩码。正在咱们的机构，咱们安插了MD.ai (New York, New York)，这是一个基于云的注解体系，可原生打点存储正在机构照准的云存储供应商（谷歌云存储或亚马逊 AWS）上的 DICOM 文献。代替品供应相像的成效，如ePadLite（Stanford, California），它可免得费应用。基于云的注解门径的另一个上风是，扫描能够维持原始的辞别率和质料，及时互助模仿 基于团队 的临床决议，注解和标签能够很容易地导出用于下逛说明。最紧要的是，此中很众用具都能够用任何搜集浏览器长途拜访，而且极易操作，极大地抬高了用户体验并减轻了临床合营家的技艺担负。

最终，较新的呆板进修熬炼范式，如联邦进修，可以有助于规避很众与数据共享合联的阻挡。Kaissis等人审查了联邦进修的规定、平安危害和执行挑衅。这种门径的合键特色是正在每个机构都熬炼当地算法副本，独一共享的新闻是神经搜集正在熬炼经过中进修到的特色。正在预订的功夫间隔内，从每个机构的算法中学到的新闻（熬炼的权重）被聚合起来并从新分派，高效地从一个大型的众中央数据聚合进修，而不必要传输或分享任何医学成像数据。这有助于急速熬炼算法，从胸部谋划机断层扫描中检测COVID-19的特色。

虽然正在医学成像界限依然有了说合进修的告捷演示，但正在将这些门径用于向例临床应用时，依然存正在洪量技艺挑衅。极端是正在高维成像呆板进修体系的配景下，从众个列入中央传输和更新熬炼的权重而引入的搜集延迟，成为熬炼更大神经搜集的根本速度范围方法。探讨职员还必需确保熬炼后的权重正在列入机构之间的传输是平安和加密的，这进一步增长了搜集延迟。别的，正在打算探讨时，借使不行拜访源数据，计划数据集的质料和类似性可以极具挑衅性。很众观念上相像的说合进修框架依然假定对源数据有必定水准的拜访。

当代临床呆板进修中应用的神经搜集架构，合键来自于那些针对大型照片或视频识别职分28实行优化的架构。纵使正在细粒度分类的其他挑衅性职分中，这些架构也万分稳当，此中类具有微妙的类内分歧（狗的种类），而不是具有高类间分歧的显明分歧对象（飞机与狗）。通过对大型数据集（比方ImageNet）实行饱满的预熬炼，这些 现成 架构的功能优于为其量身定做的细粒度分类器。此中很众架构可用于时髦的呆板进修框架，如TensorFlow和Pytorch。最紧要的是，这些框架时时为种种分歧的神经搜集架构供应ImageNet预熬炼权重，使探讨职员可以急速将它们从新用于特意的医学成像职分。

不幸的是，绝大大批的临床成像式样都不是简便的静态 图像。比方，超声心动图是一种心脏的二维（2D）超声影像。这些 视频 能够从众个分歧的视角拍摄，从而能够对心脏实行更通盘的评估。CT和MRI扫描能够被以为是一堆二维图像，必需按图像依序实行说明，不然医师有可以错过器官之间沿某一轴线的有价格的相干。

以是，这些 成像 形式更相像于视频。将其举动图像拆开说明，可以会导致空间或功夫配景的遗失。比方，将视频每一帧举动独立的图像实行说明打点，会导致每一帧视频之间功夫新闻的遗失。正在应用超声心动图、CT和MRI扫描的种种职分中，基于视频的神经搜集算法比其 2D 算法有相当大的刷新，但集成众个分歧的视图平面带来了出格的维度，很难将其纳入如今框架。

与普遍的基于图像的预熬炼搜集库分歧，对视频算法的援救依然有限。对安插新架构感趣味的探讨职员可以必要本人正在大型公然的视频数据集（如Kinetics和UCF101（中佛罗里达大学101--举动识别数据集））上履行预熬炼方法。别的，视频搜集的熬炼谋划本钱可以要高几个数目级。固然应用大型自然景物数据集实行预熬炼是开垦临床成像呆板进修体系的一个公认的战术，但不行包管功能的晋升。合于预熬炼的功能刷新的陈述很常睹，极端是正在应用较小的数据集时，但跟着熬炼数据集的增长，其上风会渐渐削减。

正在2018年美邦邦度卫生探讨院的途径图中，缺乏特定于医学成像的架构被以为是一项合头挑衅。咱们进一步延长，提出熬炼这些架构的门径，对这些体系将转化为实际方面阐扬着紧要效力。咱们以为，下一代的高维医学成像AI 将必要对更丰厚、更有配景意旨的对象实行熬炼，而不是简便的分类标签。

而今，大大批医学成像 AI 体系专一于从寻常配景下诊断少数疾病。榜样的门径是正在熬炼这些算法时分派一个数字标签（疾病：1；寻常：0）。这与临床受训职员进修从成像扫描中诊断分歧的疾病的式样有很大分歧。为了供应更众的 医学学问，而不是简便地对自然图像或视频实行预熬炼，Taleb等人提出了一系列应用大型无标签医学成像数据集的新型自我监视预熬炼技艺，旨正在协助开垦基于3D医学成像的人工智能体系。

神经搜集起首通过履行一组 署理职分 来进修 描摹 举动输入的成像扫描。比方，通过让搜集像拼图相似 从新组合 输入的扫描数据，它们能够被熬炼成 领悟 正在种种病理和心理形态下哪些剖解布局是互相类似的。将成像扫描的数据与放射学陈述配对是另一个乐趣的战术，基于胸部X射线的人工智能体系获得了相当大的告捷。

本着供应更细小的临床配景并将更众的 学问 嵌入神经搜集的精神，陈述中的文本通过最优秀的自然发言呆板进修算法实行打点，随后熬炼视觉搜集，以更好地领悟让种种疾病 分歧的原故。然而，最紧要的是，他们解释应用这种门径能够将特定下逛分类职分的符号数据量削减众达两个数目级。以是，未符号的成像探讨，无论是孤单的照旧贯串成对的文本陈述，都能够举动有用预熬炼的根柢。随后，对较小的高质料根柢实况数据样本实行微调，以结束特定的监视进修职分。

虽然这些方法有助于调剂现有的神经搜集架构，使其合用于医学成像，但为特定职分打算新的架构必要专业学问。模子架构相像于大脑，而熬炼后的权重（熬炼中优化的数学函数）相像于思想。进化搜寻算法的起色应用呆板进修门径来创造为特定职分定制的新架构，从而发生比人类修建的架构更高效和更高功能的架构。这些都为成像形式特定架构的发达供应了一个特殊的契机。

熬炼深度进修算法依托图形打点单位（GPU）来履行大范围的并行矩阵乘法运算。云谋划 随用随付 的GPU资源和具有高内存容量的消费级GPU的可用性，都有助于下降对开垦医学成像呆板进修体系感趣味的探讨职员的准初学槛。虽然有了这些起色，但正在大型视频数据集上熬炼庞杂确当代搜集架构必要众个GPU持续运转数周。

临床探讨小组该当防卫，固然正在相对低廉的谋划机上熬炼简单模子可以是可行的，但要找到最佳功能的准确设备组合，险些老是必要应用特意的硬件和谋划集群来正在合理的功夫限制内返回结果。强盛的空洞层（比方，Pytorch Lightning）还同意探讨小组创设内部法式，以模块化的款式修建其代码。采用如许的模块化门径，神经搜集架构和数据集能够很容易地被更换，有助于急速将过去为临床成像形式打算的体系从新用于新的用例。这种门径也有助于通过以新的式样集成子组件来扩展这些体系的成效。

跟着医疗人工智能体系从 诊断 转向更众的 预后 操纵，功夫到事宜的预测（而不是简便的二进制预测）将正在临床境遇中创造更众的合联性。功夫-事宜说明的特色是可以预测举动功夫函数的事宜概率，而二分类器只可供应一个预订功夫的预测。与二元分类器分歧的是，功夫-事宜说明研究到了数据的删减，以研究到那些落空随访或正在旁观功夫限制内没有资历合联事宜的人。生活说明正在临床探讨中很常睹，也是同意循证据践指南的主旨。

用基于图像和视频的呆板进修来扩展守旧的生活模子，能够对构制切片或医学成像扫描中的特色的预后价格供应强有力的洞察力。比方，将Cox比例牺牲函数的扩展整合到守旧的神经搜集架构中，使得仅从构制病理学切片中预测癌症结果成为可以。咱们不观点应用此类视觉搜集来章程若何实行照顾，而是观点将其用作符号临床医师脱漏晚期恶性肿瘤特色的病例的门径。

纳入功夫-事宜说明正在临床大将越来越紧要，由于正在疾病不宁静或早期阶段具有的可检测特色，正在必定功夫后可以会急速发达。

比方，可诊断为黄斑变性的视网膜特色往往必要数年功夫才华浮现出来。具有初期疾病特色的患者可以会被符号为“寻常”，这让神经搜集试图预测改日产生黄斑变性并发症的危害。纳入生活和审查的观念可以有助于熬炼体系更好地将寻常人与那些轻度、中度和正正在急速发达中的疾病个别分散。同样，熬炼视觉搜集实行功夫-事宜说明可以会正在用于肺癌筛查，有助于遵循预期的侵略性扩散潜力实行危害分层。这种转化就业的合头是要有强盛的、原委饱满验证的Cox回归的深度进修扩展。正在过去的几年里，依然描摹了洪量Cox模子的深度进修达成。Kvamme等人提出了一系列的Cox模子的比例和非比例扩展，过去还描摹了更众的生活门径的达成，如DeepSurv和DeepHit46（图2）。

正如 Sensoy 等人所描摹的那样，纵使正在制止确的环境下，应用法式门径熬炼的呆板进修模子也能够万分相信。左图：当一个数字被挽救180°时，体系相信地分派了一个从 1 到 7 的标签。右图：然而，用研究分类不确定性的门径，体系会分派一个不确定性分数，能够助助指导临床医师潜正在的失误预测。

然而，从可操作的角度来看，功夫-事宜预测可以存正在题目。正在肺癌筛查的假设示例中，胸部谋划机断层扫描中的可疑结节可以会发生一个预测，即正在有或没有相宜的调理干扰的环境下的中位生活率。对临床医师来说，相识呆板进修体系对个别病人的预测的有众大的支配可以是很蓄谋思的。当对一项职分没有支配时，人类往往会留意行事。呆板进修体系也反应了这一点，此中输出是 0 到 1 限制内的“种别概率”或“准确的可以性”。然而，目前文献中描摹的大大批医学影像呆板进修体系，当供应给模子的输入数据跨越散布限制时，缺乏说 我不明晰 的隐含才略。比方，纵使输入图像是猫的图像，熬炼用于从谋划机断层扫描（比方）预测肺炎的分类器正在打算上也被强制供应输出（肺炎或非肺炎）。

正在他们合于深度进修中的不确定性量化的论文中，Sensoy等人用一系列的牺牲函数来处分这些题目，这些牺牲函数分派了一个 不确定性分数，以此来避免失误的、但有支配的预测。正在项宗旨转化阶段，当人工智能体系被安插正在与人类用户沿途就业的境遇中时，不确定性量化的好处就显露了。信仰气量是AlphaFold2的一个合头身分，该卵白质折叠呆板进修体系正在第14届卵白质布局预测合头评估（CASP14）挑衅中获得了无与伦比的凿凿性，给DeepMind探讨团队供应了一种门径来量度他们该当对正正在天生的预测予以众大的信赖。很众不确定性量化门径的达成都是正在许可的环境下实行的，而且与常用的呆板进修框架兼容。纳入不确定性量化可以有助于抬高高危害的医学成像呆板进修体系的可声明性和牢靠性，并削减主动化缺点的可以性。

除了量化某些呆板进修体系的预测功效外，关于修建这些体系的工程师和应用它们的临床医师来说，他们更感趣味的是相识这些呆板进修体系是若何得出结论的。明显性图和类激活图现实上依然是声明呆板进修算法若何实行预测的法式。

Adebayo等人近来的探讨解释，仅仅依托明显性图的视觉外观可以会发生误导，纵使乍一看它们与配景合联。正在一系列普遍的测试中，他们创造，很众时髦的天生过后明显性图的门径并没有从模子权重中取得真正的意旨，而是与 边际检测器（简便映照像素强度之间的尖利过渡区域的算法）没有区别。别的，纵使这些可视化门径睹效，除了呆板进修算法正正在寻找的 地点 之外，也险些无法破译。正在良众示例中，无论是准确照旧失误的明显性图看起来险些是相似的。当 患病 形态和 寻常 形态之间的分歧必要体贴图像或视频的统一区域时，这些差错就特别显明了。

a, Adebayo等人用MNIST数据集实在凿标签熬炼的模子（上）和随机噪声熬炼的模子（下）实行的试验。当通过大大批可视化门径实行评估时，正在随机噪声上熬炼的模子依然发生圆形样子。b，超声心动图视图平面的检测：失误的分类（左上）和准确的分类（右上）都发生相像的明显性图（下）。

临床医师该当防卫，仅靠热图缺乏以声明 AI 体系的成效。正在考试用如上图所示的可视化门径来识别妨碍形式时，必需留意。一个更精巧的门径可以涉及到持续遮挡测试，即正在蓄谋笼罩临床医师用来实行诊断或预测的区域后，评估图像的功能。这个思法万分直观：正在已知对诊断某种疾病很紧要的区域被遮挡的图像上运转算法，比方，正在试图诊断心力衰竭时遮挡左心室，该当能够看到功能的快速降落。

这有助于确认人工智能体系正正在体贴合联界限。极端是正在高维医学成像探讨的配景下，激活图可以为视频类成像探讨的某些功夫阶段的相对紧要性供应特殊的睹识。比方，某些疾病可以正在心脏屈曲时浮现出病理特色，而关于其他疾病可以必要人们体贴心脏松开时的环境。时时如许的试验可以解释，呆板进修体系从临床医师守旧上不会应用的图像区域中识别出潜正在的新闻特色。除了收罗合于这些呆板进修体系若何发生其输出的新闻外，端庄的可视化试验可以供应一个特殊的时机，能够从被评估的呆板进修体系中进修生物学的睹识。

另一方面，激活与临床上已知的紧要区域的缺点可以预示着搜集正正在进修非特异性的特色，使它们不太可以很好地归结到其他数据集。

呆板进修体系进修的特色可以取决于架构的打算。更紧要的是，呆板进修体系会遵循供应给它的熬炼数据和对象来进修和延续体系性的不服等。跟着医疗保健人工智能体系一向向改日的疾病预测发达，必需特别留意地研究到这些群体正在取得医疗保健和结果方面的重大分歧。

正在近来的评论中，Chen等人深刻概述了从题目拔取到安插后阶段的潜正在缺点泉源。正在这里，咱们核心计议呆板进修体系开垦早期的潜正在处分计划。少少人观点用少少门径来声明当代呆板进修体系的其他 黑箱 预测，而其他人则观点一初步就范围应用更可声明的模子。除了正在熬炼扫数 AI 体系时贯串布局化数据的输入之外，中心门径还涉及应用黑盒模子熬炼医学成像神经搜集。

这能够通过创设 协调搜集 来达成，此中外格数据被归并到基于图像或视频的神经搜集中，或其他具有类似根本对象的更优秀的门径（天生组合数据的低维暗示的主动编码器）。纵使没有将生齿统计学输入纳入高维视觉搜集，探讨小组通过对比分歧性别、种族、区域和收入群体的浮现来审核他们的模子也很紧要。

呆板进修体系可以会偶然中学会进一步延续和鄙夷少数民族和有色人种，以是正在模子开垦经过的早期相识这种意睹是至合紧要的。对呆板进修体系的信赖关于更普遍的采用至合紧要，正如摸索特定的特色或变量若何以及为什么会导致预测相似，通过贯串明显性图和推断特色紧要性的模子无合的门径。

另一种门径是正在熬炼逻辑中范围呆板进修算法，确保产生优化方法以把持感趣味的生齿统计学变量。这相像于众变量回归模子，此中感趣味的危害身分的影响能够独立于基线生齿统计学变量来探讨。从技艺角度看，这将涉及到正在熬炼轮回中插入一个出格的惩办性牺牲，并谨记与稍低的模子功能的潜正在衡量。比方，Fairlearn 是用于评估守旧呆板进修模子平正性的时髦用具包，而且依然开垦了基于 Fairlearn 算法 (FairTorch) 的限制优化，这是正在熬炼经过中整合缺点调剂的有生气的摸索性考试。有很众开源用具包能够助助探讨职员确定分歧变量和输入流（图像预测，以及诸如性别和种族等变量）的相对紧要性。这些技艺可以同意开垦更平正的呆板进修体系，以至能够创造没蓄谋料到的躲避意睹。

虽然谋划架构和获取高质料数据是修建优良模子的合头，但为高维成像形式开垦可转换的呆板进修体系方面还必要勤苦，以更好地代外数据的 视频 性子。别的还必要正在模子开垦的早期阶段创设有助于处分意睹、不确定性和可声明性的成效。对医学成像和人工智能的质疑是有益的，况且正在大大批环境下具有必定意思。

咱们生气，通过创设同意探讨职员评估临床浮现、病院就业流程中的整合、与临床医师的互动以及社会生齿加害的下逛危害的成效，能够正在改革人工智能的交付方面迈出蓄谋义的步骤。咱们生气探讨职员会创造这个意见很有效，由于它概述了正在临床安插方面等候他们的潜正在挑衅，而且正在处分此中少少题目时能够阐扬领导性意旨。

功夫的气力——1991 人工智能大争辩 30 周年祝贺：主义不再，共融互生｜GAIR 2021