题目：基于点门控深度网络的b型超声和超声弹性成像的多模态特征学习与融合诊断
摘要：b型超声和超声弹性成像可用于前列腺癌（PCa）的临床诊断。两种超声（US）模式的结合使用计算机辅助可能有助于提高诊断性能。提出了一种基于多模态超声的计算机辅助诊断（CAD）技术。首先，从b型US图像和超声弹性图中提取定量特征，包括强度统计、区域百分位特征、灰度共现矩阵（GLCM）纹理特征和二值纹理特征。其次，提出了一种名为PGBM-RBM2的深度网络来学习和融合多模态特征，该网络由点向门控玻尔兹曼机（PGBM）和两层限制玻尔兹曼机（rbm）组成。最后，利用支持向量机（SVM）对前列腺疾病进行分类。对103例前列腺疾病患者（47例恶性，56例良性）的313张前列腺多模态超声图像进行了实验评价。在五倍交叉验证下，PGBM-RBM2的分类的敏感性、特异性、准确性、约登指数和ROC曲线分别为87.0%、88.8%、87.9%、75.8%和0.851。结果表明，使用PGBM-RBM2进行多模态特征学习和融合可以帮助PCa的诊断。这种深度网络有望在前列腺癌的临床诊断中发挥作用。
目录
题目：基于点门控深度网络的b型超声和超声弹性成像的多模态特征学习与融合诊断
Database of multimodal ultrasound
Multimodal feature learning using PGBM
Point-wise gated deep networks for prostate disease classification
Cross-validation and statistical analyses
Baseline classification for comparison
Effect of feature learning methods
Introduction
前列腺癌（PCa）是发达国家男性癌症死亡的最常见原因之一。发展中国家前列腺癌发病率和死亡率仍稳步增加[1,2]；例如，在中国，2000年至2011年前列腺癌死亡人数每年增加5.5%[3]。前列腺癌的早期诊断对[4]治疗的选择和成功起着重要的作用。前列腺癌的最终检测仍依赖于活检或手术病理作为金标准，这是侵入性的，可能使患者面临并发症[5,6]的风险。
传统的b型超声（US）作为一种无创检查技术用于前列腺成像。然而，b型US对PCa的诊断并没有很高的准确性，部分原因是它只显示了前列腺及其可疑病变[7]的结构和形态。因此，迫切需要改进PCa的诊断工具，一些不断上升的技术令人鼓舞。实时弹性成像（RTE）是一种新兴的US组织刚度测量技术。通过使用传感器对前列腺组织进行压缩和减压，RTE可以产生组织变形，测量组织的刚度，并提供与前列腺的生物力学和功能特性相关的诊断信息。这种刚度信息已被用于PCa检测[8]。
然而，基于US的前列腺癌诊断依赖于前列腺图像的人工解释，由于主观的回声和定性描述，观察者内部和观察者间的差异性
Materials and methods
Database of multimodal ultrasound
本研究共纳入103例前列腺疾病患者（平均年龄70 ± 9岁，年龄40-88岁）（恶性47例，良性56例）。所有前列腺疾病均以10核活检进行组织病理学诊断为金标准。一位经验丰富的放射科医生在使用EUB-7500（日立医疗，东京，日本）超声系统进行活检前进行了经直肠US和经直肠RTE检查。使用双平面经直肠探头和6.5mhz线性换能器（U533L）和7.5mhz凸形换能器（U533C）。
超声的成像系统在一个全屏上提供了一个双模态的可视化（图1A）。右侧为灰度b模式图像，左侧为复合彩色弹性图，显示为与灰度b模式图像叠加在相同的半透明彩色图像上。因此，我们通过从复合弹性图中减去b型US图像，得到了一个纯色弹性图（图1B）。然后计算纯色弹性图的色相值，将颜色弹性图转换为灰度弹性图，该弹性图量化了组织的硬度，范围从0（红色，最软）到5/6（蓝色，最硬）。在彩色图像上存在色调值无效的缺失区域（图1A，B），以黑色阴影或孔洞的形式出现。这些没有硬度信息的像素被自动检测到（图1D，用洋红色表示），并被排除在进一步的计算和分析中。弹性检索技术的细节在我们之前的研究[8]中描述。
人工绘制前列腺周围腺（PG）的边界，沿出PG的边界（图1C），然后将其映射到检索到的弹性图（图1D），以指定感兴趣的区域。
图1：典型的前列腺超声图像。(A)双模态超声图像由b模态和弹性图组成。(B)纯色弹性图。(C)在B-模式图像上绘制的外围腺体边界。(D)外周腺体边界叠加在灰度弹性图上。(E)在二进制模板中描述的周围腺体的位置。
Overview of the CAD system
所提出的PCa诊断方法的方框图如图2所示。将数据分为两个独立的数据集进行训练和测试。给定一对b型US和RTE图像，我们首先分别从双模态图像中提取特征。为了同时利用b型US和RTE特征，我们提出在使用我们的PGBM-RBM2模型进行特征学习之前，将特征连接成一个向量，从而将它们结合起来。然后，我们用预先训练的RBM初始化PGBM，采用t检验从训练数据中获得任务相关特征。然后，通过在PGBM上叠加两层rbm，形成了高水平的表征。最后，我们利用学习到的特征信息和地面基准真值标签来训练一个支持向量机（SVM）[22]。为了验证我们的模型，我们使用训练过的SVM来预测测试数据的标签。
图2：采用PGBM-RBM2方法进行分层特征表示和多模态融合进行PCa诊断的示意图。
Feature extraction
从b型图像和灰度弹性图上的前列腺PG中计算出四种特征：强度统计、区域百分位特征、灰度共现矩阵（GLCM）纹理特征和二值纹理特征。
强度统计量化了超声图像上的强度分布，并根据PG内的b模式灰度（b模式图像）的色调值(即硬度，弹性图）计算。这些包括各种一阶统计量，如均值、标准差、方差系数、偏态、峰度和熵。其他特征包括PG之外的统计数据和PG内部与PG之外的统计数据的比率。
根据到中心的距离，将PG沿半径划分为多个环形区域，即核心区域、中部区域和外部区域，计算区域百分位特征。然后，提取不同环状区域的强度统计数据，以反映前列腺疾病的发展与其在PG [19]内的内外区域的位置之间的关系。
纹理特征由GLCM计算得出。对GLCM进行归一化处理，得到联合条件概率密度函数，由此推导出基于GLCM的纹理特征，包括GLCM [10]的能量、对比度、均匀性和熵。在我们的实践中，GLCM是在距离为1、2、...，为15像素、方向为0°、方向为45°、90°和135°的情况下计算的。然后将基于GLCM的纹理特征在四个方向上取平均值。
为了实现更有效的纹理表示，从灰度图像（b模值或色调值）得到的二值图像中，还提取了5个二值纹理特征，包括面积比、中心偏差度、径向偏差度、离散度和径向散射度[10]。以中心偏差度为例（图3D），它测量了二值图像中白色区域内的每个像素（标记为绿色方块）与PG的质心（黄色点）之间的归一化距离的平均值。二进制纹理特征的更多细节在我们之前的研究[10]中描述。
对一个患者的多张图片的特征取平均值，以评估在患者水平上的分类性能。从一个模态中共提取出493个特征，其中包括62个强度统计数据、366个区域百分位数特征、60个GLCM纹理特征和5个二进制纹理特征。因此，从两种模式中提取了986个特征。我们将数据归一化，使其平均值为0，标准差为1。
Multimodal feature learning using PGBM
在下面的章节中，我们首先介绍RBM，它已经成为一个有用的特征学习工具，应用于各种机器学习领域。然后，我们描述了PGBM，即对RBM的新改进，我们使用它来建模从多模态美国图像中提取的复杂特征。
受限玻尔兹曼机
RBM是一个无向图形模型，具有可见单元v∈{0,1}D和隐藏单元h∈{0,1}F，每个可见单元连接到每个隐藏单元，但层内的单元之间没有连接。RBM的能量函数E(v,h)定义为：
其中，W、a、b分别为权重矩阵、隐藏偏差向量和可见偏差向量。在可见单位v和隐藏单位h上的条件分布分别计算如下：
其中，sigm (x) = exp (x)/（1 + exp (x)）是一个逻辑s型函数。训练RBM对应于参数{W，a，b}的对数似然最大化。在实际应用中，采用随机梯度下降法有效地训练RBM，其梯度近似为基于吉布斯蒙特卡罗马尔可夫链[23]的对比散度。每个吉布斯步骤由两个交替的子步骤组成：通过等式（4）采样隐藏单位h，用等式（5）对可见单位v进行采样（这里觉得作者写错了公式，应该是公式5和6）。当将级数截断为单个子步时，我们得到了一个随机重建误差[23]的梯度，定义为均方根误差（RMSE）。
点向门控玻尔兹曼机：然而，在具有原始特征的特征学习过程中，数据没有被清理，并且包含大量不相关和冗余的模式。探索一种自动学习算法来区分相关和无关的特征是至关重要的。在这里，我们使用PGBM将特征学习与特征选择整合在一个统一的框架中，通过t-检验来区分不同组的特征。
PGBM是一个基于RBM的无向图形模型，它将隐藏单元划分为任务相关组件和任务无关组件，由二进制值开关单元确定。开关单元，记为zr∈{0,1}R，其中z1i+ z2i= 1，与可见单元配对。PGBM在可见单元和成对的开关单元之间施加了点方向的乘法相互作用。PGBM的能量函数定义为：
在这里，Wij r、ai r和bj r是第r个分量的权重、可见偏差和隐藏偏差（r = 1,2）。条件概率写如下：
值得注意的是，当且仅当其成对可见单元vi被分配给r时，二项开关单元zi r被激活。它使每个组件中的隐藏单元专注于原始特性的特定部分，这样一个组件中的隐藏单元对另一个组件学习到的模式具有鲁棒性。PGBM还鼓励将相同的组件分配给相似和相关的可见单元，因此它动态地保留与任务相关的模式，并从原始特征中删除不相关的模式。
PGBM训练策略：在这里，我们需要注意的是，由于PGBM涉及大量的参数，通常需要大量的训练样本进行泛化，这在实践中是没有的，特别是在医学图像研究中。此外，尽管PGBM可以学习为每个混合成分将不同的特征分组，但它并不一定会从头开始自动学习鉴别特征，因为生成训练是以无监督的方式进行的。
为了解决这些问题，我们对常规的RBM进行了预训练，并根据t检验的分数将隐藏单元分为两组，以初始化PGBM的模型参数。然后，我们通过微调来训练PGBM，以提高PCa诊断的性能。这种方法提高了PGBM的分类性能，并帮助学习过程比随机初始化[24,25]更快地收敛。与RBM相似，PGBM的训练采用随机梯度下降法进行。由于PGBM中的三向依赖关系，精确的推断难以处理，我们使用平均场方法进行近似推断[20]。
Point-wise gated deep networks for prostate disease classification
深度学习架构通过构建特征[26]的层次结构来非常有效地提高分类性能。结果表明，多层深度学习表示在大量的分类任务[27–29]中提供了最先进的性能。在这方面，我们利用多模态超声图像的多层架构构建了PCaCAD的层次深度学习网络。PGBM被用作深度学习网络中第一层的构建块，整合了表示学习和来自原始特征的特征选择。然后，rbm作为第二层和第三层，最终产生更多不同的PCa诊断表征。SVM最终被连接到rbm上，用于PCa预测。
在第一层中，只有PGBM的任务相关组件中的隐藏单元与上rbm连接。由于PGBM通过t检验选择了与任务相关的隐藏单元，因此高层网络主要关注于与任务相关的信息，因此深度特征体系结构具有提高诊断性能的能力。通过将一个RBM的输出单元连接到下一个RBM的输入单元，叠加上层的RBM。两层由加权连接矩阵连接，在一层内没有连接。在rbm之后，经典分类器SVM用于区分前列腺癌和良性前列腺疾病。
Hinton等人最近引入了一种贪婪层学习算法，并成功地应用于深度网络[24]的学习。在这项工作中，提出的深度模型是训练与贪婪层算法，类似的。我们一次训练一层，并使用当前隐藏层的表示作为下一个隐藏层的输入，如图4所示。
图4：PGBM-RBM2的学习步骤。
Cross-validation and statistical analyses
为了量化PGBM-RBM2模型对PCa诊断的准确性，我们对每个样本[30]进行了5倍交叉验证。为了评估交叉验证中的不确定性，我们对模型重复了5次5倍交叉验证程序。
在交叉验证中，通过分类精度、灵敏度、特异性和约登指数（敏感性+特异性-1）来衡量预测性能。采用ROC曲线和AUC对分类模型进行评价。为了进一步了解模式和算法对预测性能的影响，我们使用配对t检验来比较敏感性、特异性、准确性、约登指数和AUC [31]。
Results
Experimental setup
Parameter setting
我们在一个包含2.50GHz的平台上使用Matlab（数学Works，Natick，MA，USA）编写算法，该平台包含一个2.50GHz的Intel i5-7300HQ CPU和8 GB的2400MHzDDRR4RAM。在所提出的架构中，我们需要设置隐藏神经元的数量和学习率（LR），并证明预训练的有效性。为此，我们将数据随机分为训练数据集（80%）和测试数据集（20%），并启发式地搜索训练和测试数据集的最佳参数，并使用RMSE进行评估。也就是说，选择这些参数是为了在尽可能少的时期内将RMSE降低到一个相当低的值。图5A和图B显示了经过1000次迭代后，在训练前和训练步骤中不同数量的隐藏神经元的收敛特性。PGBM最终被设置为由一个隐藏层中的100个隐藏单元组成，因为在这个设置下，RMSE相对较小，并且在训练（图5A）和测试数据集（图5B）中都呈现出先下降然后稳定的趋势。LR和使用或不使用预训练的条件通过粗搜索设置类似，如图5C-F所示。图5C和D显示了使用1000个epoch的不同LRs的RMSE；这里，LR =为0.02时的误差最小。如图5D和F所示，我们在有训练前的条件下也获得了比没有训练前的条件下更低的误差。动量值和权重成本值根据经验分别设置为0.9和5×10−4，如表1所示。
图5：收敛性特性。
对于训练（A、C、E）和测试（B、D、F）基于均方根误差（RMSE）的数据，同时使用不同数量的隐藏单位和不同的学习速率，有或没有预训练。
Baseline classification for comparison
我们使用其他特征学习方法作为比较基准进行比较：具有原始特征的(a)（RAW）、(b)主成分分析（PCA）、(c) CCA和(d) RBM。当使用这些基线方法时，我们以10为间隔调整了10-400之间的特征维数，作为后续SVM分类器的输入。通过网格搜索[32]对SVM中的参数进行了优化。
为了评估图像模态或特征层次是否对预测性能有影响，我们采用了如下比较。在图像模式方面，所提出的PGBM-RBM2方法和基线分别采用b模式特征、RTE特征和组合双模式特征进行PCa分类。同时，我们比较了基于PGBM的网络，即深度网络PGBM-RBM2和PGBM-RBM1，以及浅层网络PGBM，以评估各种特征层次的性能。
Diagnosis results
表2总结了交叉验证的分类结果，其中B、E和C分别为B型US特征、RTE特征和组合双模态特征，PGBM-RBMn是指由一层PGBM和n层RBM组成的深度网络叠加。在PCa分类中，所提出的利用组合双模态特征的深度网络PGBM-RBM2表现最佳，灵敏度为87.0%，特异性为88.8%，准确率为87.9%，约登指数为75.8%，AUC为85.1%。
在用于分类的模式方面，它表明无论使用哪种方法进行特征学习，结合多模式的特征融合的性能都有有效的提高（表2）。其中，基于多模态特征的PGBM-RBM2的准确率分别比基于b型US特征和RTE特征的准确率高出4.5%和5.7%。
与基线方法相比，PGBMRBM2的准确率分别提高了22.5%（RAW）、10.2%（PCA）、7.3%（CCA）和7.1%（RBM）（表2），表明该方法在鉴别良恶性前列腺疾病方面优于竞争方法。在该二值分类的特征层次上，深度网络（PGBMRBM2）提取的高级特征优于浅层网络（PGBM）提取的低层次特征，准确率提高了3.0%。总的来说，深度网络PGBM-RBM2的性能最好，而深度网络PGBM-RBM也优于浅层网络PGBM。
Statistical analyses
Effect of feature modalities
表3显示了每种两种模式之间的分类指标的配对t检验的p值。特征融合比使用b模式或RTE获得更好的性能。例如，除特异性外，使用双模态特征的PGBM方法在所有指标上都显著优于使用RTE特征的PGBM方法（p < 0.05）。此外，所提出的使用多模态特征学习的深度网络PGBM-RBM2在所有指标上都显著优于单模态特征表示（p < 0.05）。也就是说，在结合来自多种模式的互补信息时，获得了最佳的性能。
Effect of feature learning methods
表4列出了在将基于PGBM的方法与基线方法进行比较时，配对t检验的p值。与基线方法相比，单层PGBM方法显著提高了所有分类指标（p < 0.05），证明了关注任务相关模式而忽略原始特征中任务无关部分的有效性。此外，PGBM-RBM2在几乎所有指标上产生的p值都小于PGBM和PGBM-RBM1，特别是在敏感性方面，这表明堆叠rbm通过减少假阴性提高了敏感性。
Effect of feature hierarchy
表5列举了深层网络（PGBM-RBM1和PGBM-RBM2）和浅层网络（PGBM）之间的诊断指标的p值。表2显示，PGBM-RBM1的准确性似乎优于PGBM（86.8% vs. 84.9%）；然而，在表5中，这两个模型之间没有发现显著差异（p = 0.075）。当我们在PGBM-RBM1的顶部再叠加1 RBM时，所以在形成更深层次的网络PGBM-RBM2方面，PGBM-RBM2与PGBM的准确性有显著性差异（p=0.005）（87.9%vs.84.9%）。此外，PGBM-RBM2和PGBM之间的特异性（p = 0.023）和约登指数（p = 0.009）之间也存在显著性差异。ROC曲线如图6所示，三种模型的AUC分别为0.828、0.843和0.852，表明深度网络（PGBM-RBM2和PGBM-RBM1）比浅层网络PGBM具有潜在的优势。
这些结果表明，该方法成功地捕获了多模态特征上的任务相关模式。高层rbm增强了PGBM的特征表示，三层深度网络PGBM-RBM2对PCa诊断的性能最好。
图6：深度网络PGBM-RBM2、PGBMRBM1和浅层网络PGBM的ROC曲线和AUC。
Discussion
这项工作的主要贡献是提出了一个集成的深度网络，用于学习和融合由b模式US和RTE图像生成的多模态特征，用计算机辅助诊断PCa。实验结果表明，具有多模态特征的CAD模型优于具有单模态特征的模型，且深度网络的性能也优于浅层网络。
所提出的深度网络PGBM-RBM2的输入为人工提取的特征，依靠专家知识或人工提取，特定特征的选择可能会影响分类性能。在最近的深度学习研究中，将图像的像素值输入给深度网络已经成为计算机视觉中一个流行的pipeline。LeCun等人开发了卷积神经网络（CNN）来提取基于像素的视觉特征，学习到的权值（卷积核）被解释为一组调谐的特征检测器[33]。RBM和PGBM可以扩展到卷积设置，在整个图像的所有位置之间共享滤波器权值，因此对RBM和PGBM的卷积修改有望在未来进一步提高诊断性能。
超声成像是一个活跃的研究领域，多种超声模式已经出现在临床使用。从多模态特征融合的角度来看，将多个模态的特征简单连接到一个长向量可能会导致单个模态变量之间的强连接，但模态[11]之间的弱连接。一个具有共享隐藏层的网络来发现模态的共享特性似乎是一种很有前途的技术，值得未来的研究来解决这个问题。
缺失的颜色缺失区域出现为RTE上的黑洞（图1A，B），在我们的研究中，黑洞被自动检测到并用洋红色表示（图1D）。这些黑洞是在RTE期间产生的成像，如果在这些区域的弹性计算非常不确定，甚至遇到误差。先前的一项研究发现，乳腺病变内黑洞的存在可以作为恶性[34]的征象，这也可以整合到CAD模型中，用于区分良恶性前列腺疾病。
我们对常规的RBM进行了预训练，并根据t检验的分数将隐藏单元分为两组，为模型提供良好的初始化效果，以提高分类性能。更简单的特征选择算法可以用于初始化PGBM的权重矩阵，例如卡方检验[35]。大量关于特征学习的文献表明，表示深度有利于分类精度[28,29,36]。因此，我们考虑获得更高层次的特征表示，并显著增加深度，以增强PCa的诊断。然而，更深层次的网络结构需要更多的参数来调优，这在有限的硬件条件下是不可接受的。这种困境需要进行深入的研究，以在绩效和成本之间取得平衡。
图像数量有限是将深度学习应用于医学图像分析的主要挑战之一。解决样本缺乏问题的一种方法是通过数据增强人工生成样本来扩展数据库，然后从头开始训练深度网络[37]。数据增强通常包括在不同尺度上随机平移和旋转训练样本，以增加训练数据的变化。另一种被称为迁移学习的技术已被证明是非常有效的，它使用经过自然图像训练的深度模型，并将它们转移到医学图像中。设计了两种迁移学习策略(1)使用预训练的模型作为特征提取器，(2)对目标任务医疗数据的预训练模型进行微调[37]，这两种模型都值得对超声图像诊断PCa的进一步研究。
Conclusion
我们提出了一种基于PGBM的深度网络，可以从b模式US和RTE中提取的多模态特征中捕获和融合高级诊断信息。实验结果表明，高水平特征在分类准确性、灵敏度、特异性和AUC方面表现最好。所提出的CAD架构有可能用于未来的前列腺癌的临床诊断。此外，我们将把卷积神经网络引入我们的模型来建立一个灵活的端到端模型，它直接提供图像的像素值，而不是我们手工制作的功能。我们还计划改进从多个模式连接特征的方式，以增强跨模式的交叉。
标签：模态,...,RBM2,特征,feature,Multimodal,RBM,图像,PGBM From： https://blog.csdn.net/Gu104/article/details/142600389