AI在医学领域：nnSynergyNet3D高精度分割肝硬化肝脏体MRI图像

关键词：肝硬化肝脏分割、协同深度学习模型、跨模态泛化

       肝硬化是慢性肝病（CLD）的最后阶段，是一个重大的全球性健康问题。2019年，它是全球死亡原因的第11位，占全球死亡人数的2.4%。尽管病毒性肝炎仍然是终末期肝病的主要原因，但与代谢功能障碍相关的脂肪肝病（MASLD）预计将由于全球肥胖和代谢综合症的流行而超过它成为主要原因。此外，酒精性肝病、自身免疫性肝炎和遗传性疾病等条件也发挥了重要作用。肝硬化涉及桥接纤维化和再生结节的发展，这损害了肝脏功能，并可能导致肝衰竭。在放射学图像中准确分割肝硬化肝脏对于监测疾病的进展、评估严重程度和评估治疗反应至关重要。精确的分割有助于确定肝脏损伤的程度和位置，这对于规划治疗，如肝移植和其他靶向治疗至关重要。

     现有的分割模型经常面临重大的理论缺陷，主要是因为它们在捕捉复杂特征交互方面的能力有限，并且它们的假设空间是固定的。传统模型将特征孤立处理或使用简单的集成方法，未能利用不同特征集之间复杂的非线性依赖关系。这导致对复杂模式的次优表示，例如MRI扫描中的微妙组织变化。此外，这些模型的假设空间的固定性质限制了它们对新的、多样化的数据集的泛化能力，限制了它们在不同成像条件下的鲁棒性。因此，这些限制可能妨碍了传统分割方法在肝硬化肝脏分割等具有挑战性的场景中的准确性和适应性。

      本文提出一种新的协同理论，通过整合来自互补潜在空间的特征来增强特征交互建模。该理论认为，利用协同表示，即不同类型的潜在特征相互作用和补充，可以更有效地捕捉数据内的复杂非线性关系。基于这种协同理论，本文引入nnSynergyNet3D架构，它整合了3D体积的连续和离散潜在空间，并享有自动配置训练。连续潜在空间捕获细粒度细节，而离散潜在空间处理更广泛、更粗略的特征。这种双重方法允许nnSynergyNet3D更有效地建模复杂的特征交互。

1 方法

nnSynergyNet3D与传统的2D SynergyNet不同，设计方案采用了3D级联U-Net。最初，一个3D U-Net处理低分辨率图像，随后一个第二高分辨率3D U-Net细化前者的预测。在瓶颈处，使用F1和F2分别作为连续和离散特征，以捕获肝硬化肝脏MRI扫描中的细微和粗略信息。离散特征是通过体积向量量化学习得到的，该方法动态地将连续的3D特征离散化。最后，F1和F2通过体积多头交叉注意力结合，以捕获协同信息。SynergyNet3D瓶颈集成了三维连续和离散潜在空间，以有效捕获复杂非线性特征交互。

以下是该方法的主要组成部分：

1.1 互补潜在空间

• 连续潜在空间 (F1): 捕获肝脏 MRI 扫描中的精细特征，例如组织纹理和细微变化。
• 离散潜在空间 (F2): 捕获肝脏 MRI 扫描中的粗略特征，例如肝脏的总体形状和位置。

1.2 自适应配置

• 利用规则参数自动配置网络拓扑、补丁大小和批量大小，以适应不同的数据集和 GPU 内存限制。
• 通过实验确定的参数选择最佳的 U-Net 配置 (例如 3D 全分辨率、3D 低分辨率、3D 级联) 并优化后处理策略。

1.3 3D 级联 U-Net 架构

• 低分辨率 U-Net: 首先处理低分辨率图像，提取初步特征。
• 高分辨率 U-Net: 利用低分辨率 U-Net 的输出作为输入，进一步细化预测结果。
• 瓶颈层: 使用 F1 和 F2 作为连续和离散特征，分别捕获精细和粗略信息。
• 体素向量量化: 动态离散化连续 3D 特征，学习离散潜在空间。
• 体素多头交叉注意力: 结合 F1 和 F2，捕获协同信息。
• 协同瓶颈层: 整合三维连续和离散潜在空间，有效捕获复杂的非线性特征交互。

1.4 SynergyNet3D 瓶颈层

• 将连续和离散潜在空间进行整合，从而有效地捕获肝脏 MRI 扫描中的复杂特征交互。
• 使用体素向量量化和体素多头交叉注意力机制，分别处理连续和离散特征，并有效地将它们结合起来。

1.5 自适应配置

• 利用规则参数自动配置网络拓扑、补丁大小和批量大小，以适应不同的数据集和 GPU 内存限制。
• 通过实验确定的参数选择最佳的 U-Net 配置 (例如 3D 全分辨率、3D 低分辨率、3D 级联) 并优化后处理策略。

2 实验

2.1 数据集

• 私有肝硬化肝脏 MRI 数据集： 包含 339 名患者的 628 个高分辨率 T1 和 T2 加权腹部 MRI 扫描，以及由医生标注的分割掩码。数据集被分为训练集 (80%)、验证集 (10%) 和测试集 (10%)。
• LiTS 数据集： 一个公开的健康肝脏 CT 扫描数据集，用于评估模型的跨模态泛化能力。数据集中的图像主要为肝脏及其肿瘤的切片图像，标签文件中通常将肝脏标记为类别1，肿瘤标记为类别2，背景标记为类别0.训练数据集包含131组或130组CT扫描图像,测试数据集包含70组CT扫描图像。

2.2 基线方法

• nnUNet3D： 一个基于 3D U-Net 的自动配置分割网络。
• nnFormer3D： 一个基于 3D Transformer 的自动配置分割网络。
• TransUNet3D： 一个基于 Transformer 的分割网络。
• SwinUNeTr： 一个基于 Swin Transformer 的分割网络。
• TransBTS： 一个基于 Transformer 的多模态脑肿瘤分割网络。

2.3 评价指标

• 平均 Dice 相似系数 (mDSC)： 衡量分割结果与真实标签的重叠程度。
• 平均交并比 (mIoU)： 衡量分割结果与真实标签的重叠程度。
• 召回率： 衡量模型正确识别所有真实标签的能力。
• 精确率： 衡量模型正确识别的分割结果中真实标签的比例。
• Hausdorff 距离 (HD95)： 衡量分割结果与真实标签之间的最大距离。
• 平均对称表面距离 (ASSD)： 衡量分割结果与真实标签之间的平均距离。

2.4 实验结果

在上图中，展示了T1加权(T1w)和T2加权(T2w)MRI图像的样本结果，显示当前模型在轻度条件下很好地分割了肝硬化肝脏。然而，白色边界表明这些模型在中度至重度病例中由于瘢痕而存在困难。nnSynergyNet3D即使在更高级的病例中也一贯地优于nnUNet和TransUNet，证明了其自动配置加上协同潜在空间设计的优势。

• Case #1: Mild：案例1展示了轻度肝硬化的情况。在这里，两种模型都能够较好地识别和分割出受影响的肝脏区域。
• Case #2: Severe：案例2展示了重度肝硬化的情况。在这种情况下，由于肝脏组织中的瘢痕和结构变形，分割变得更加困难，两种模型的性能都有所下降。
• T1w Modality：T1加权成像模式下，nnSynergyNet3D和nnUNet的分割结果被展示。黄色圆圈标出了模型在分割过程中出现的主要错误区域。
• T2w Modality：T2加权成像模式下，同样展示了nnSynergyNet3D和nnUNet的分割结果，以及黄色圆圈标出的错误区域。

• 定量分析： nnSynergyNet3D 在 T1 和 T2 加权 MRI 数据集上均优于所有基线方法，在所有指标上都取得了最佳性能。这表明 nnSynergyNet3D 能够更有效地捕捉肝硬化肝脏分割任务的复杂特征交互。
• 跨域分析： 在 LiTS 数据集上进行零样本测试，nnSynergyNet3D 仍然表现出优于其他方法的泛化能力。这表明 nnSynergyNet3D 能够更好地适应不同模态的数据，从而提高分割的一致性。
• 定性分析： 通过可视化结果可以看出，nnSynergyNet3D 能够更好地处理轻度、中度和重度肝硬化病例，并能够更准确地捕捉肝脏的边界和形状。

实验结果表明，nnSynergyNet3D 在肝硬化肝脏分割任务上取得了显著的性能提升，证明了协同潜在空间模型在医学图像分割中的有效性。