DeepIGeoS:一种用于医学图像分割的深度交互式测地线框架

引用

Wang G, Zuluaga M A, Li W, et al. DeepIGeoS: a deep interactive geodesic framework for medical image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(7): 1559-1572.

摘要

准确的医学图像分割对于诊断、手术计划和许多其他应用至关重要。卷积神经网络（CNN）已成为最先进的自动分割方法。但是，全自动结果可能仍需要改进，以变得足够准确和鲁棒，并可用于临床。我们提出了一种基于深度学习的交互式细分方法，以改善通过 CNN 自动获得的结果，并减少精炼过程中的用户交互，以实现更高的准确性。我们使用一个 CNN 来获得初始的自动细分，并在其上添加用户互动以指示错误细分。另一个 CNN 会将用户与初始细分的互动作为输入，并提供精确的结果。我们建议通过测地距离转换将用户互动与 CNN 结合起来，并提出一个分辨率更好的网络，以提供更好的密集预测。另外，我们将用户交互作为硬约束，集成到可反向传播的条件随机字段中。我们在胎儿 MRI 的 2D 胎盘分割和 FLAIR 图像的 3D 脑肿瘤分割的背景下验证了提出的框架。实验结果表明，与传统的交互式方法相比，我们的方法相对于自动 CNN 有了很大的改进，并获得了可比甚至更高的准确性，而且用户干预更少，时间更少。

1.导言

解剖结构的分割是图像诊断、解剖结构建模、手术规划和引导等一系列医学图像处理应用的重要任务。然而，全自动分割方法很少能获得足够精确和健壮的结果，从而在临床上有用。这通常是由于图像质量差（有噪声、部分容积效应、伪影和低对比度）、患者之间的巨大差异、病理学带来的不均匀表现以及临床医生之间协议的变化导致给定结构边界的不同定义。为了解决自动分割方法的局限性，交互分割方法是可取的，因为它们在许多应用中允许更高的精度和鲁棒性，由于为切分提供手动注释既费时又费力，因此一个高效的交互式切分工具在实际应用中具有重要意义。

我们提出了一种新的交互式方法，利用深度学习进行 2D 和三维医学图像分割。首先是一个两阶段的流水线，第一个 CNN 自动获得一个初始分割，第二个 CNN 通过利用少量的用户交互来细化初始分割，我们将其编码为测地距离图。我们将提出的交互式分割方法称为深度交互式测地框架（DeepIGeoS）。

DeepIGeoS 的特性如下：首先，它使用一个更强大的基础学习模型，即 CNN 与自动特征学习，以从一个大的训练集利用知识。其次，它需要更少的用户交互，因为该方法从高质量的自动分段开始，在细化阶段只需要用户提供的点击或简短的涂鸦。第三，它是高效的，能够实时响应用户交互，这导致了非常短的用户时间。

本文的主要贡献有四个方面：1）提出了一种基于深度 CNN 的交互式 2D 和三维医学图像分割框架；2） 为了使 CNNs 能够高效、准确地进行交互式分割，我们分别提出了两种新的 2D 和三维图像分割网络；3） 我们建议将用户与 CNNs 的交互转换成测地距离图作为 CNNs 输入的一部分，并将其作为可训练条件随机场（Conditional Random Field - CRF）的约束条件；4） 我们证明了 CNNs 在交互式医学图像分割中具有最先进的性能，比现有的方法花费更少的用户工作和时间。

2.方法

图 1 描述了用于深度交互切分的 DeepIGeoS。为了最小化用户交互的数量，我们提出了一个两阶段的框架：在第一阶段，这是一个自动切分问题，需要快速推理，一个 CNN（P-Net）自动完成一个初始切分。在第二阶段，用户检查初始分割并给出一些交互（点击和简短的涂鸦）来指示错误分割的区域，第二个 CNN（R-Net）通过将原始图像、初始分割和用户交互作为输入来细化分割。用户可以通过 R-Net 多次单击/涂鸦来优化结果。P-Net 和 R-Net 使用了一种保持分辨率的结构，这种结构可以在不损失分辨率的情况下从一个大的感受野捕获高层次的特征。除了在输入维度上的差异外，它们的结构相同。其每次给出新的用户交互时，都会重新训练学习模型。

为了使分割结果在空间上更加一致，并使用涂鸦作为硬约束，P-Net 和 R-Net 都与 CRF 相连接，CRF 被建模为一个 RNN（CRF-Net），从而可以通过反向传播与 P-Net/R-Net 联合训练。

图 1. 两阶段交互式分割框架概述。第 1 阶段：P-Net 自动提出初始分段。第 2 阶段：R-Net 通过用户交互来细化细分，表示细分错误。

图 2 示出了用户交互的测地距离变换的示例。用户交互的测地距离图和初始自动分割的大小与 I 相同。将它们与 I 的原始通道串联，得到具有 CI+3 通道的级联图像，作为细化网络 R-net 的输入。

2.1基于用户交互的测地距离图

在我们方法的第 2 阶段，用户提供涂鸦来完善第 1 阶段 P-Net 获得的初始自动分割。涂鸦将一组像素标记为前景或背景。具有相同标签的互动被转换为距离图。测地距离有助于更好地区分具有不同外观的相邻像素，并提高同质区域的标签一致性。

图 2. 第 2 阶段 R-Net 的输入。（a）用户提供点击/涂鸦，以纠正初始自动分割的前景（红色）和背景（青色）(d） 和（e）分别是基于前景和背景相互作用的测地距离图。将原始图像（b）与初始自动分割（c）和测地距离图（d）、（e）通过通道拼接相结合，作为 R-Net 的输入。

2.2使用扩张卷积保持 CNN 分辨率

我们的方法中的 CNN 被设计为从一个大的感受野中捕捉高级特征，而不损失特征图的分辨率。它们是由 VGG-16 改编而成的，并使其具有分辨率保护功能。图 3 显示了 2D 和三维 P-Net 的结构。2D R-Net 使用与 2D P-Net 相同的结构，只是其输入通道数为 CI+3，并且在 CRF-Net 中采用了用户交互。为了获得感受野的指数级增长，我们删除了 VGG-16 最大池化和下采样层，并在每个区块中使用扩张卷积。

每个卷积层的跨度被设置为 1，每个区块的卷积输出通道数被设置为固定的数字 C。为了使用多尺度特征，我们将不同区块的特征连接起来，得到一个长度为 5C 的组合特征。这个特征被送入一个分类器，该分类器由两个附加层实现，如图 3a 中的第 6 块所示。CRF 由一个递归神经网络（CRF-Net）实现，它可与 P-Net 或 R-Net 联合训练。CRF-Net 为每个像素提供一个规则化的预测，并将其输入交叉熵损失函数层。

类似的网络结构被 3D P-Net/R-Net 用于 3D 分割，如图 3b 所示。为了减少三维图像的内存消耗，我们在分辨率保持层之前使用一个降采样层，并在连接层之前通过 1×1×1 卷积将块 1 到 5 的输出特征压缩 4 倍。

图 3. 2D /三维 P-Net 与 CRF 网的 CNN 结构（f）。卷积层的参数是（内核大小、输出通道、膨胀）在深蓝色矩形中。块 1 到块 6 保持分辨率。2D/3D R-Net 使用与 2D/3D P-Net 相同的结构，只是其输入有三个附加通道，如图 2 所示，CRF 网络（f）由 CRF 网络（fu）代替。

2.3具有自由形式成对势和用户约束的后向可传播 CRF 网

从参考文献中我们发现了一种基于 RNN 的 CRF 算法，它可以通过反向传播进行训练。我们没有使用高斯函数，而是扩展了这个 CRF，使得成对势可以是自由形式的函数，我们称之为 CRF 网（f）。此外，我们将用户交互集成到 CRF-Net（f）中的交互式优化上下文中，称为 CRF-Net（fu）。CRF 网（f）与 P-Net 相连，CRF 网（fu）与 R 网相连。

图 4.成对势函数的成对网

2.4实施细则

光栅扫描算法用于计算测地距离变换，方法是使用 3×3 的内核用于 2D 和一个 3×3×3 的 3D 内核。假设一个大小为 M×N 的图像、完全连接的 CRF 具有 MN（MN-1）像素对。对于 M=N=100 的小图像，像素对的数目几乎是 108 个，这不仅需要大量的内存，而且需要很长的计算时间。第二，尽管长距离相关性有助于改善大多数 RGB 图像的分割，但这对于医学图像来说是非常具有挑战性的，因为目标和背景之间的对比度通常很低。在这种情况下，长距离依赖可能导致目标像素的标签被具有相似外观的大量背景像素破坏。因此，为了保持良好的效率和避免长距离的损坏，我们定义了一个像素在一个局部补丁中心的成对连接。在我们的实验中，补丁大小设置为 7×7 的用于 2D 图像、5×5×3 的 3D 图像。

在用 CRF-Net（f）训练 P-Net 之后，我们自动模拟用户交互，用 CRF-Net（fu）训练 R-Net。首先，利用 P-Net 和 CRF-Net（f）对训练图像进行自动分割。将其与地面真值进行比较，找出误分割区域。然后，在每个分割错误的区域中随机抽取 n 个像素，模拟用户之间的交互。通过训练数据初始分割上的这些模拟用户交互，通过 SGD 实现了用 CRF-Net（fu）训练 R-Net，这类似于用 CRF-Net（f）训练 P-Net。

图 5.胎盘（a）和脑肿瘤（b，c）训练图像上的模拟用户交互。绿色：由 P-Net 和 CRF-Net（f）给出的自动分割。黄色：地面真相。红色（青色）：模拟点击下分割（过度分割）。

3.实验

3.1比较方法和评价指标

我们首先给出了在第一阶段得到的结果，然后给出了在第二阶段得到的结果。

第一阶段，我们比较了 P-Net 与 FCN 和 Deep-Lab 的 2D 分割，以及 DeepMedic 和 HighRes3DNet 的 3D 分割。我们还比较了 2D/3D P-Net 和 2D/3D P-Net（b5），2D/3D P-Net 只使用块 5（图 3）的特征，而不是级联的多尺度特征。将提出的具有自由形式成对势的 CRF 网（f）与已有的 CRF 网（f）进行了比较：1). 密集 CRF 作为 P-Net 输出的独立后处理步骤。2）.CRF-Net（g）是指可以利用高斯成对势与 CNNs 联合训练的 CRF。

对于第二阶段，即交互细化部分，我们比较了三种处理用户交互的方法。1). Min-cut 用户编辑，其中初始概率图与用户交互相结合，用 Min-cut 解决能量最小化问题；2). 使用 R-Net 中用户交互的欧氏距离，称为 R-Net，3）。提出了一种具有用户交互测地距离的 R 网。

为了定量评估，我们测量了 Dise 得分和平均对称表面距离（ASSD）。

其中 Ra 和 Rb 分别表示由算法分割的区域和地面真值。

其中 Sa 和 Sb 分别表示算法分割的目标表面点集和地面真值。d(i, Sb)是 i 和 Sb 之间最短的欧氏距离。我们使用 Student 的 t 检验来计算 p 值，以观察两种算法的结果是否存在显著差异。

图 6. 2D 胎盘分割第 1 阶段中不同网络的视觉比较。最后一行显示了 DeepIGeoS 交互细化的结果。

3.2胎儿 MRI2D 胎盘分割

表 1. 2D 胎盘分割第一阶段不同网络和 CRF 的定量比较

3.2.1第 1 阶段：用 2D P-Net 与 CRF 网（f）自动分割

图 6 显示了第 1 阶段不同网络获得的自动分割结果，这表明 FCN 能够捕获胎盘的主要区域。DeepLab 优于 FCN，但其类似 blob 的结果与 FCN 相似。可以观察到，2D P-Net 络比其他三种网络获得更好的结果。然而，2D P-Net 仍然存在一些明显的区域分割错误。表 1 给出了基于所有测试数据的这些网络的定量比较。2D p-Net 的 Dice 评分为 84.78±11.74%，ASSD 为 2.09±1.53 像素，性能优于其他三种网络。

基于 2D P-Net，我们比较了第 1 阶段的不同 CRF。图 7 显示了密集 CRF、具有高斯成对电位的 CRF-Net（g）和具有自由形式成对电位的 CRF-Net（f）之间的视觉比较。在第一列中，胎盘被 2D P-Net 分割。密集 CRF 导致的结果非常小的改善。CRF-Net（g）和 CRF-Net（f）通过保留更多的胎盘区域来改善分割效果，后者显示出更好的分割效果。在第二列中，2D P-Net 获得了相邻胎儿大脑和母体组织的过度分割。密集 CRF 对分割效果没有明显改善，但 CRF-Net（g）和 CRF-Net（f）去除了更多的过分割区域。CRF-Net（f）的性能优于其他两种 CRF。这三个 CRF 的定量评价如表 1 所示，这表明密集 CRF 导致的结果非常接近 2D P-Net（P 值>0.05），而最后两个 CRF 显著改善了分割（P 值<0.05）。

图 7. 2D 胎盘分割第一阶段不同 CRF 的视觉比较。最后一行显示了 DeepIGeoS 以交互方式优化的结果

3.2.2第 2 阶段：2D R-Net 与 CRF-Net（fu）的交互细化

图 8 显示了第 2 阶段中基于 2D R-Net 和 CRF-Net（fu）的交互式细化的示例。图 8 中的第一列显示了 2D P-Net+CRF-Net（f）获得的初始分割结果。用户提供单击/涂鸦来指示前景（红色）或背景（青色）。图 8 中倒数第二列显示了五种改进的结果。这些细化方法纠正了大部分错误分割的区域，但在处理局部细节时执行不同的级别，如白色箭头所示。图 8 显示了具有测地距离的 2D R-Net 比最小割用户编辑和使用欧几里德距离的 2D R-Net（Euc）执行得更快。CRF-Net（fu）能进一步改善患者的预后。为了定量比较，我们测量了第一次用户细化迭代后的分割精度，其中五种细化方法使用相同的初始分割和相同的用户交互集。结果如表 2 所示，该表显示了使用测地距离和 CRF 网（fu）的 2dr 网的组合比具有相同用户交互集的其他细化方法更精确的分割。

图 8.2D 胎盘分割第 2 阶段不同细化方法的视觉比较。第一列显示由 2D P-Net+CRF-Net（f）获得的初始自动分段，在该分段上添加用户交互以进行细化。其余列显示优化结果。2D R-Net（Euc）是所提出的 2D R-Net 的一个等价物，它使用欧氏距离。白色箭头显示局部细节的差异。

表 2. 2D 胎盘分割第 2 阶段不同细化方法的定量评价

3.3基于 FLAIR 图像的三维脑肿瘤分割

3.3.1临床背景及实验设置

脑肿瘤的自动分割在技术上仍然具有挑战性，因为 1）脑肿瘤的大小、形状和定位在患者之间有明显的差异；2）相邻结构之间的边界通常是模糊的。在这个实验中，我们研究了从 FLAIR 图像中交互式分割整个肿瘤。我们使用了 2015 年脑肿瘤分割挑战（BraTS）训练集。不同于以往使用该数据集进行多标签和多模态分割的工作，我们只在数据集中使用 FLAIR 图像，并且只分割整个肿瘤。随机抽取 234 例进行训练，其余 40 例进行测试。所有这些图像都被剥离头骨并重新采样到大小为 240×240×155，各向同性分辨率 1 mm。我们根据每幅图像非零区域的边界框对其进行裁剪。

3.3.2第 1 阶段：用三维 P-Net 和 CRF 网(f)自动分割

图 9 显示了第 1 阶段中不同网络的自动分割示例，其中 3D P-Net 与 DeepMedic、HighRes3DNet 和 3D P-Net（b5）进行了比较。在第一列中，DeepMedic 大致分割了肿瘤，在边界附近有一些缺失的区域。HighRes3DNet 减少了遗漏的区域，但会导致一些过度分割。3D P-Net（b5）得到了与 HighRes3DNet 相似的结果。相比之下，3D-P-Net 实现了更精确的分割，更接近于地面真实情况。图 11 中第二和第三列中的更多示例也显示 3D P-Net 优于其他网络。这四个网络的定量评估如表 3 所示。DeepMedic 的骰子平均得分为 83.87%。HighRes3DNet 和 3dp-Net（b5）性能相近，优于 Deep-Medic。3D-P-Net 的性能优于这三个对手在 Dise 方面为 86.68±7.67%，在 ASSD 方面为 2.14±2.17 像素。请注意，与 HighRes3DNet 相比，所提出的 3D P-Net 的参数要少得多。它的存储效率更高，因此可以在交互时间内对三维体进行推理。

图 9. 三维脑肿瘤分割第一阶段不同网络的视觉比较。最后一行显示了 DeepIGeoS 以交互方式优化的结果

由于 CRF-RNN 仅用于 2D，在 3D 分割的背景下，我们仅将 3D CRF-Net（f）与使用手动调整参数的 3D 密集 CRF 进行了比较。在第 1 阶段使用 3D P-Net 的这两种 CRF 之间的视觉比较如图 10 所示。可以观察到，CRF-Net（f）与密集 CRF 相比取得了更显著的改进，密集 CRF 用于无端到端学习的后处理。表 3 列出了密集 CRF 和 CRF 网（f）的定量测量结果。结果表明，只有 CRF 网（f）的分割效果明显优于 3D P-Net，P 值<0.05。

图 10. 三维脑肿瘤分割第一阶段不同 CRF 的视觉比较。最后一列显示了 DeepIGeoS 以交互方式优化的结果

表 3. 3D 脑肿瘤分割第一阶段不同网络和 CRF 的定量比较

3.3.3第 2 阶段：通过 3D R-Net 和 CRF-Net（fu）进行交互细化

图 11 示出了 3D 脑肿瘤分割的第 2 阶段中的交互式细化结果的示例。在第 1 阶段，通过 3D P-Net+CRF-Net（f）获得初始分割。在相同的用户交互集合下，我们比较了 min-cut 用户编辑和 3D R-Net 的四种变体：使用测地或欧氏距离变换（有或没有 CRF-Net（fu））的细化结果。图 11 显示最小切割用户编辑实现了小的改进。结果表明，使用测地距离比使用欧氏距离能得到更准确的分割结果，而 CRF 网（fu）能进一步提高分割效果。为了定量比较，我们测量了第一次细化迭代后的分割精度，其中相同的一组涂鸦被用于不同的细化方法。定量评估如表 4 所示，表明所提出的具有测地距离和 CRF 网络（fu）的 3D R 网络比其他变量具有更高的精度，Dice 得分为 89.93±6.49%，ASSD 为 1.43±1.16 像素。

图 11. 三维脑肿瘤分割第 2 阶段不同细化方法的视觉比较。采用三维 P-Net+CRF-Net（f）进行初始分割，并在此基础上进行用户交互。3dr-Net（Euc）是所提出的 3dr-Net 的一个等价物，它使用欧氏距离。

表 4. 三维脑肿瘤分割第 2 阶段不同细化方法的定量比较

4.结论

在这项工作中，我们发表了一个基于深度学习的交互式 2D 和三维医学图像分割框架。首先是一个两阶段的框架，其中 P-Net 用于获得初始自动分割，R-Net 用于基于用户交互的结果细化，用户交互转换为测地距离图，然后集成到 R-Net 的输入中。其次是一种基于扩展卷积的高密度预测保持分辨率的网络结构，对现有的基于 RNN 的 CRF 进行了扩展，使其能够学习任意形式的成对势函数，并利用用户交互作为硬约束。对 2D 胎儿 MRI 中的胎盘和三维 FLAIR 图像中的脑肿瘤的分割结果表明，该方法比自动 CNNs 分割效果更好。与传统的交互式分割方法相比，该方法所需的用户时间要少得多，分割精度更高。这个框架将来可以扩展到处理多个器官。

致谢

本文由南京大学软件学院 2021 级硕士林聚翻译转述。