题目：基于多模态超声的人工智能诊断乳腺癌的多区域放射组学研究

摘要：

目的：乳腺癌的超声（US）诊断通常是基于单一的超声方式对整个乳腺肿瘤的单一区域，这限制了诊断性能。在乳腺肿瘤的多模态超声图像上的多个区域都可能对诊断有有用的信息。本研究旨在提出一种多模态放射组学多模式方法，用于人工智能诊断恶性和良性乳腺肿瘤。

材料和方法：首先，从超声和增强超声图像中5个ROI中提取影像组学特征，包括强度统计、灰度共现矩阵纹理特征和二值纹理特征。多个ROI包括整个肿瘤区域、最强灌注区、边缘区及周围区域。其次，采用一个由point-wise gated玻尔兹曼机和受限玻尔兹曼机组成的深度神经网络进行综合学习和特征选择。第三，利用支持向量机对乳腺良恶性肿瘤进行分类。最后，从5个ROI中生成5个单区域分类模型，并将其融合形成一个整体分类模型。

结果：对187例乳腺肿瘤患者（68例恶性，119例良性）的乳腺多模态超声图像进行了实验评估。在5倍交叉验证下，我们的模型的分类准确率、敏感性、特异性、约登指数和受试者特征曲线下面积（AUC）分别为87.1% ± 3.3%、77.4% ± 11.8%、92.4% ± 7.2%、69.8% ± 8.6%和0.849 ± 0.043。模型在AUC和准确性方面明显优于单区域单模态方法（p < 0.05）。（意味着比较模型性能的统计测试结果表明，模型与单一区域单一模态方法之间的差异不仅仅是由于随机变异造成的，而是具有统计学上的显著差异。具体来说，当p值小于0.05时，通常认为结果在统计学上是显著的，这意味着观察到的差异（在这个例子中是AUC和准确性的提高）有95%的概率是由于模型确实比单一区域单一模态方法更优越，而不是偶然发生的。）

结论：除整个肿瘤区域外，超声图像上最强灌注区、边缘区域及周围区域均有助于乳腺癌的诊断。多区域多模态放射组学模型的分类效果最好。我们的人工智能模型将有可能对乳腺癌的临床诊断有用。

1. Introduction

       自2020年以来，乳腺癌已以每年226万新发病例超过肺癌，成为全球主要癌症。乳腺癌也是全球第五大癌症死亡原因，到2020年将有68.5万人死亡。早期发现和治疗可显著降低乳腺癌患者的死亡率30%-70%。

       目前，乳腺X射线检查和超声是乳腺癌的主要筛查技术。乳腺X射线检查是筛查早期乳腺癌最有效的方法之一，但其总体特异性并不高，假阳性率为65%-90%，特别是对于一些腺体致密的女性，而超声可能比乳腺X射线检查更有可能发现绝经前妇女和乳腺致密的早期乳房肿块。由于其非电离性、低成本和高重复性，超声检查已经成为检测腺体致密女性乳腺疾病的主要方法。超声造影（CEUS）采用微泡造影剂已成为评价肿瘤微循环的有效技术。超声只能提供乳腺肿瘤的形态学信息，而不能显示肿瘤血管生成，而CEUS可以全面、客观地评价乳腺肿瘤的微血管分布和血液灌注状态，从而很好地补充超声影像。

       在常见的临床实践中，超声和CEUS图像由经验丰富的放射科医生进行视觉观察和分级以进行诊断，然而，由于视觉观察的主观性和缺乏对乳腺肿瘤的标准分级方案，诊断在观察者间和观察者内部存在很大的变异性。因此，需要一个计算机辅助诊断（CAD）系统来减少观察者的主观性和依赖性，从而能够更准确、更有效地评估乳腺肿瘤。

       人工智能（AI）算法的最新进展允许对美国图像进行更准确和客观的描述，这可以用来全面评估乳腺肿瘤的大小、强度、纹理和其他不太明显的特征。人工智能（AI）算法的最新进展允许对美国图像进行更准确和客观的描述，这可以用来全面评估乳腺肿瘤的大小、强度、纹理和其他不太明显的特征。目前，放射组学已广泛应用于单模态美国图像，无论是BUS还是CEUS，但对多模态图像的组合进行评估还很有限。事实上，与单一模式相比，多模态图像的组合可能会提高诊断性能，因为多模态图像从不同的方面提供了有用的乳腺肿瘤诊断信息。

       此外，以前的CAD系统通常仅依靠整个乳腺肿瘤的区域来进行诊断。众所周知，多个区域可以提高对猫、狗等自然图像的模式识别性能，如图1a所示。同样，在医学领域，乳腺肿瘤的CEUS图像可以分为多个区域，包括肿瘤内、边界和外部区域，这些区域都有乳腺癌诊断价值（图1b）。例如，一些研究表明，对肿瘤边缘区域的定量分析可以提高乳腺肿瘤[19,20]的诊断准确性。

       基于这些见解，本研究旨在研究整个肿瘤区域、最强灌注区域、边缘区域和周围区域的整合，用于乳腺肿瘤的诊断，从而开发了一种新的多区域多模态放射组学方法，利用超声和CEUS图像自动区分恶性和良性乳腺肿瘤。将一个乳腺肿瘤的多模态图像分为5个区域，包括BUS上的整个肿瘤区域、整个肿瘤区域、最强灌注区域、CEUS上的边缘区域和周围区域（图1b）。利用放射组学特征进一步建立了5个单区域分类模型，从超声和CEUS图像上的5个感兴趣区域（roi）中提取。然后，我们融合了5个单区域分类模型，形成了一个针对乳腺肿瘤的综合分类模型。

图1 自然图像上的多个区域(a)和乳腺肿瘤的医学超声图像（b，上：良性，下：恶性）。包括嘴、眼睛、耳朵、尾巴和脚在内的多个区域，用五个圆圈表示，可能都有对猫和狗的模式识别的价值(a)，CEUS上的整个肿瘤区域（粉红色）、最强灌注区域（红色）、边缘区域（蓝色）、周围区域（绿色）和BUS上的整个肿瘤区域（黄色），可能都有助于鉴别乳腺良恶性肿瘤(b).

2. Materials and Methods

2.1. Overview of the CAD system

       研究方法的流程图如图2a所示。首先，提供成对的超声和CEUS图像。二值化过程用于创建roi的掩模图像。其次，分别从BUS和CEUS图像中提取强度统计量、二值纹理特征和灰度共现矩阵（GLCM）纹理特征。然后，采用由点门控玻尔兹曼机（PGBM）和受限玻尔兹曼机（RBM）组成的点门控深度网络（PGDN）对特征[21]进行综合学习和选择。采用支持向量机（SVM）建立了乳腺良恶性肿瘤分类的单区域模型。最后，通过融合由5个roi组成的分类器，建立了乳腺良恶性肿瘤的综合分类模型。

图2。研究的主要过程包括四个步骤：图像采集和预处理、特征提取、分类和分类器融合(a)，其中进一步说明了使用点向门控深度网络（PGDN）的特征提取和分类的步骤(b)。ROI 1：整个肿瘤区域总线，ROI 2：整个肿瘤区域CEUS，ROI 3：最强灌注区域CEUS，ROI 4：边缘区域CEUS，ROI 5：周围区域CEUS，PGDN：点向门控深度网络，SVM：支持向量机，PGBM：点态门控玻尔兹曼机，RBM：限制玻尔兹曼机。

2.2. Database of multimodal ultrasound

       该研究共包括187例乳腺肿瘤患者（68例恶性，119例良性）。组织病理学结果可作为诊断所有乳腺肿瘤的金标准。所有的手术标本均由具有超过15年的乳腺病理学经验的病理学家进行评估。

       多模态超声成像系统在全屏上提供多模态可视化（图3a)。左侧为超声图像，右侧为CEUS图像。由经验丰富的放射科医生在乳房总线图像上沿着整个肿瘤的边界手工勾画出乳腺肿瘤的边界（图3b）。同时绘制CEUS图像上最强灌注区域（图3c中红色圆圈）、肿瘤内边缘区域（蓝色圆圈）和肿瘤外周围区域（绿色圆圈）。将人工勾画出的整个肿瘤的边界从BUS图像进一步映射到相应的CEUS图像上，从而在CEUS上得到整个肿瘤区域。因此，获得了5个roi，包括整个肿瘤区域、最强灌注区域、边缘区域、CEUS上的周围区域和BUS上的整个肿瘤区域。

图3。典型的多模态超声图像的乳腺，感兴趣的区域（roi）由一个经验丰富的放射科医生概述。(a)由超声和CEUS图像组成的多模态超声图像。(b)在乳腺超声图像上勾画出整个乳腺肿瘤的边界。(c)在CEUS图像上绘制最强灌注区域（红色圆圈）、边缘区域（蓝色圆圈）、周围区域（绿色圆圈）。

2.3. Multimodal radiomics feature extraction

       在本研究中，从5个roi中分别提取了178个放射组学特征，包括45个强度统计数据，73个二元纹理特征和60个GLCM纹理特征（表1）。为了消除特征之间的单位和尺度差异的影响，将每个放射组学特征进行了归一化，使其均值为零，标准差为1。

       强度统计量化了超声和CEUS图像上ROI的强度分布。包括各种一阶的统计数据，如平均值（平均值）、标准差、方差系数、偏度（偏态）、峰度、直方图熵（EtHis）、亮度熵[22]，和几个百分位数其他特征包括区域百分位数特征和ROI内与ROI外的统计数据的比率。这些区域百分位特征是根据ROI从边缘到中心的距离，将ROI进一步划分为三个环形区域，即核心、中间和外部区域。然后，计算了三个环形区域的强度统计数据[22]。

        二值图像通过修正的自适应阈值法计算出二值图像特征[23,24]。在二值图像（图4b)中，大于为生成阈值的像素值设置为1（白色），其他像素值设置为零（黑色）（图4b）。二值图像的特征包括中心偏差度、径向偏差度、色散度和若干面积比。以中心偏差度为例（图4b），测量了二值图像中白色区域内的每个像素（标记为绿点）与ROI的质心（黄点）之间的归一化距离的平均值。二进制纹理特征的更多细节在我们之前的研究[25]中描述。AreaRatio_β以1 为间隔，设置阈值β为20-90，计算为ROI中白色像素与整个像素的比值[26]。

       GLCM量化了乳腺组织中的纹理，它是一个表示像素的联合条件概率密度函数的矩阵（图4c）。从矩阵中推导出了基于GLCM的纹理特征，包括GLCM的能量、对比度、均匀性和熵。在我们的实践中，GLCM是在1、2、...，15像素和0◦、45◦、90◦和135◦的方向下计算的。然后将基于GLCM的纹理特征在四个方向[27]上取平均值。

图4 三组放射组学特征。(a)强度统计数据。(b)二进制纹理特征。(c)灰度级共现矩阵（GLCM）纹理特征。

2.4. Feature learning using PGBM

       我们使用PGBM进一步建模从乳腺肿瘤的多模态超声图像中提取的复杂特征。多模态放射组学特征被提供给PGBM神经网络，这是RBM [28]的一个扩展。PGBM从原始的放射组学特征中挖掘出了乳腺癌诊断的内在信息。PGBM区分了与任务相关（即诊断相关）组件防止与任务无关的信息传播到更高层次的神经网络。利用随机开关单元的门控机制，实现了任务相关组件和无关组件之间的区分。开关单元，记为zr∈{0,1}R，其中z1 i + z2 i = 1，与可见单元配对，即原始特征。PGBM在开关单元和成对的可见单元[29,30]之间施加了点方向的乘法相互作用。PGBM的能量函数定义为：

在这里，Wr ij、ar i和br j是第r个分量的权重、可见偏差和隐藏偏差（r = 1,2）。条件概率写如下：

      需要注意的是，当且仅当其成对的可见单元vi被分配给第r个组件时，二项式开关单元zr i才被激活。它使每个组件中的隐藏单元集中于原始放射组学特征的特定部分，这样一个组件中的隐藏单元对另一个组件学习到的模式具有鲁棒性。PGBM还鼓励将相同的组件分配给相似和相关的可视单元，因此它动态地保留与任务相关的模式，并从原始特征[29,30]中删除不相关的模式。

2.5. Point-wise gated deep network for breast cancer diagnosis

       利用多层结构，我们建立了一层PGBM [25]上的层次深度学习网络，称为PGDN，用于乳腺癌诊断。如图2b所示，我们使用预训练的RBM初始化PGBM，采用t检验从训练数据中获得任务相关特征。最后，我们使用从PGBM中学习到的乳腺肿瘤的特征和地面真实标签来训练一个SVM，我们使用训练的SVM激活来预测乳腺的良恶性肿瘤。

2.6. Multi-region classifier fusion

       我们进行了分类器融合，整合了几个单区域分类模型，也称为初级分类器，形成一个融合模型，以更准确地区分乳腺良恶性肿瘤。本文采用PGDN对特征进行全面学习和选择，然后以SVM为主要分类器，利用学习和选择的roi放射组学特征建立5个单区域模型对乳腺肿瘤进行分类。平均方法是对多个分类器的输出预测概率进行平均，得到最终的预测输出。学习方法是用来结合一个主分类器与另一个分类器（二级分类器），而主要分类器的输出作为二级分类器的输入，和输入样本的分类标签在主要分类器和二级分类器是相同的。在这里，我们使用逻辑回归分类器作为二级分类器。最后，对单模模型和融合了多分类器的模型的分类结果进行了比较，证明了我们的多区域多模态辐射组学方法的优越性。

2.7. Cross-validation and statistical analyses

       为了量化5种单模式模型和3种融合模型对乳腺癌诊断的准确性，我们使用了5倍交叉对数据集进行验证[30]。为了评估交叉验证的可重复性，我们重复了5倍交叉验证程序5次。在交叉验证中，采用受试者AUC、敏感性、特异性、准确性和约登指数（敏感性+特异性- 1）对分类模型进行评估。为了进一步了解融合模型和单模模型之间的诊断差异，我们采用配对t检验来比较其敏感性、特异性、准确性、尤登指数和AUC。

       单区域模型的分类实验在Matlab中进行，使用戴尔计算机，具有Intel (R)核心（TM）i7-5500UCPU，2.40 GHz和8 GB RAM。我们使用五倍交叉验证启发式地搜索训练和测试数据集的隐藏单元的最佳数量，并使用准确性来评估它们。PGBM隐藏单元中相关和无关成分的数均为隐藏单元数的一半，学习率均设为0.05。在Python 3.8中，使用PyTorch软件包实现了三个分类器融合实验。

3. Results

3.1. Statistics of radiomics features

       在这项工作中，178放射组学特征提取的五个roi，其中85，130，119，165和10放射组学特征具有统计学意义（p < 0.05）在整个肿瘤区域、整个肿瘤区域、最强的灌注区域、边缘地区和周边区域中。表2列出了典型的均值、倾斜、熵、距离为4像素的GLCM熵（Et4）和AreaRatio_60。比如，Mean在良性和恶性肿瘤的最强灌注区域（p < 0.001）、整个肿瘤区域（p = 0.015）和CEUS上的边缘区域（p = 0.006）中均有显著差异，说明恶性肿瘤中这些roi的图像比良性肿瘤中更亮。良恶性肿瘤的放射组学特征的差异可能有助于乳腺肿瘤的诊断。

注：BUS，B型超声；CEUS，增强超声。Skew，偏态；EtHis，直方图的熵；Et4，具有4像素距离的灰度共现矩阵的熵；AreaRatio_60，通过设置白色像素与ROI中所有像素的比率，阈值60。

        此外，采用t检验检验CEUS上乳腺良恶性肿瘤在最强灌注区、边缘区、周围区域的差异（表3）。结果显示，良性病例中两种roi的均值、歪斜、EtHis、Et4和AreaRatio_60均有显著性差异（p < 0.05）。在恶性病例中，除EtHis在最强灌注区（p = 0.808）和Et4（p = 0.805）与边缘区之间无显著差异外，其他两个roi之间也有显著差异（p < 0.05）。

3.2. Classification results

       该研究共包括187例乳腺肿瘤患者（68例恶性，119例良性）。在5次交叉验证（训练80%，测试20%）重复5次时，诊断性能如表4所示，包括通过平均法、投票法和学习法建立的5种单区域模型和3种融合模型。ROC曲线如图5所示。采用投票方法与5个分类器融合的模型在准确性、灵敏度、特异性和约登指数方面表现最好（分别为87.1%±3.3%、77.4% ± 11.8%、92.4% ± 7.2%和69.8%±8.6%）。具体来说，与单区域模型相比，投票方法的准确率分别提高了5.2%（BUS上全肿瘤）、4.0%（CEUS上全肿瘤）、10.0%（CEUS上灌注最强）、14.1%（CEUS上边缘区域）、15.1%（CEUS上周围区域）（表4）。学习方法的AUC最好（0.851），比周围区域、边缘区、灌注区、CEUS整个肿瘤区域和BUS整个肿瘤区域分别增加0.195、0.150、0.100、0.038和0.050。学习方法（0.851 ± 0.081）和投票方法（0.849 ± 0.043）的auc非常接近。融合5种分类器的模型的AUC、灵敏度、准确性和约登指数几乎均显著高于单区域模型（p < 0.05，表5），提示融合模型在诊断乳腺肿瘤方面比单区域模型具有潜在的优势。具体来说，当我们使用投票方法融合5个单区域模型时，发现融合模型与单区域模型的准确性存在显著差异（p < 0.01）。此外，AUC和约登指数（p < 0.01）在投票方法和单区域模型之间也表现出显著性差异。其他两种融合模型的一些诊断指标也与单区域模型有显著差异（表5）。

图5 5个单区域模型和3种融合模型的接收机工作特征曲线。

      这些结果表明，融合模型在定量诊断指标方面明显优于单区域模型。除整个肿瘤区域外，CEUS图像上灌注最强的区域、边缘区域及周围区域等其他区域均可辅助乳腺癌的诊断。多区域多模态放射组学模型的分类效果最好。

4. Discussion

       本研究的主要贡献是提出了一种基于多区域多模态放射组学的人工智能诊断系统来区分恶性和良性乳腺肿瘤。实验结果表明，将多模态图像与乳腺肿瘤的多区域分析相结合可以提高分类精度。据我们所知，这是第一个应用人工智能构建多区域多模态放射组学诊断系统，用于区分恶性和良性乳腺肿瘤的研究。我们的研究是一次融合多个单区域分类模型的成功尝试，它将为乳腺肿瘤辅助诊断的临床决策和精确护理提供一个有价值的工具。更重要的是，我们的研究方法也为其他疾病的诊断提供了新的见解。

       最近的研究表明，有临床意义的信息不仅集中在病变上，而且分布在整个乳腺区[34]。因此，Chen等人开发了一种基于全局乳房x线摄影特征的定量图像分析方案，用于计算机辅助诊断乳腺癌，而无需病变分割[34]。此外，在利用肿瘤周围组织诊断乳腺癌方面也取得了一些进展。Klimonda等人基于对周围组织超声数据的定量分析，评估了肿瘤分类的效率，表明对周围组织的定量分析可以提高乳腺肿瘤的诊断准确性[35]。Moon等人提出了一种计算机辅助预测系统，利用超声图像上的肿瘤周围组织特征来预测乳腺癌的腋窝淋巴结状态[36]。这些研究表明，对乳腺图像中的整体或周围组织的分析有助于诊断乳腺肿瘤。与我们的研究不同，他们的诊断只关注全区域或周边区域的图像，也仅限于单分布图像，而我们使用多区域多模态放射组学特征建立五个分类模型，最后结合五个模型全面区分良性和恶性乳腺肿瘤。据我们所知，这是第一个研究，调查了开发一个基于多区域放射组学特征的方案，使用BUS和CEUS图像对乳腺恶性和良性肿瘤进行分类的可行性。

       分类器融合是人工智能研究领域的一种策略，通过利用多个分类器之间的互补性，结合多个分类器的输出，得到最终的分类[37]。在本研究中，利用来自单个ROI的放射组学特征训练单个分类器，并将来自5个ROI的5个分类器融合，产生比任何单区域分类器更好的融合模型。这种分类器融合策略在几个方面提高了分类性能。首先，它可以减少泛化不良的风险，特别是在普通医疗环境中使用小数据集时。其次，该策略可以减少在单一分类器进行局部搜索时，陷入局部最小值的风险。第三，通过分类器融合，由于AI算法中扩展的假设空间扩大，可以学习乳腺肿瘤诊断的优越近似函数[37]。我们的研究统计分析了3种融合模型和5种单区域模型的分类性能。与5个单区域模型相比，融合模型具有较高的平均auc、灵敏度、特异性和准确性，说明多区域融合模型具有较高的鲁棒性。然而，由于样本量和采样噪声的影响，融合分类器的一些诊断指标标准（平均法和学习方法）的偏差高于单区域模型（BUS和CEUS上的整个肿瘤区域）。在三种融合模型中，投票法比平均法（0.851 ± 0.081和84.4% ± 7.9%）和学习法（±6.9%）最高，0.849±0.043)和0.832±0.069和87.1%±3.3%)。这意味着，与平均方法和学习方法相比，投票方法即使在训练数据集的规模较小时，也能提供更好的分类性能，并保证了决策的整体鲁棒性。

       尽管有了积极的结果，但我们认识到本研究存在以下局限性。首先，本研究为单中心、回顾性研究。第二，目前的研究结果是基于小样本量。人工智能诊断方案的准确性和鲁棒性应进一步使用更大、更多样化的图像数据库进行进一步检验。第三，除了BUS和CEUS外，其他的治疗方式也可以为疾病诊断提供更多的信息。在未来，基于人工智能的诊断系统预计将纳入其他成像模式，如多普勒超声、超声弹性成像、磁共振成像、计算机断层扫描或正电子发射断层扫描，以进行更全面的多模态分析，以更好地诊断恶性和良性肿瘤。