国自然青年项目｜基于多模态影像组学的乳腺癌分子分型预测研究｜基金申请·25-01-20

小罗碎碎念

今天和大家分享一份国自然青年项目，项目执行期为2021 - 2023年，直接费用为24万。

项目聚焦乳腺癌分子分型预测，综合运用多模态组学数据、影像组学技术和深度学习技术。

研究内容包括跨模态医学图像分割、多模态特征提取与融合、模型设计与系统研发。通过提出一系列创新算法，如基于类别中心原型对齐器的图像分割算法、基于自注意力机制与生成对抗网络的聚类算法等，实现了对乳腺癌分子分型的高精度预测，并开发了相应的预测系统。

项目成果丰硕，发表3篇SCI论文，授权1项发明专利，获批4项软件著作权，培养了4名硕士研究生。研究成果为乳腺癌精准治疗及预后判断提供了理论和技术支持，具有良好的应用前景，拟应用于癌症智能诊疗和疾病预测领域，预计5 - 10年推广使用。

知识星球

如需获取推文中提及的各种资料，欢迎加入我的知识星球！

一、项目摘要

乳腺癌是严重威胁女性健康和生命的恶性肿瘤，乳腺癌分子分型预测对患者术前治疗方案选择及预后起着至关重要的作用。

本项目基于影像组学和深度学习技术，从跨模态医学图像分割、多模态组学特征提取与融合、模型设计与系统研发等方面进行了乳腺癌分子分型预测研究。

针对跨模态医学图像分割中的领域偏移及类别样本不平衡问题，提出了一种基于类别中心原型对齐器的无监督领域自适应医学图像分割算法。该算法利用实例级别的特征进行类别原型对齐，捕捉粒度更细的特征；通过带加权系数的类内对齐损失函数和类间损失函数解决类别样本不平衡问题，从而提高模型的判别能力。

针对现有的深度学习模型在特征提取时未能充分考虑样本之间的关系，提出了可用于融合样本关系的基于注意力机制与自适应图卷积的组学特征提取方法。为充分利用不同组学特征之间的互补信息，提高模型预测精度，针对早期融合法忽略组学之间关系学习问题，提出了可用于捕获标签域不同模态之间高阶关系的跨模态张量融合法和可用于自动学习不同组学特征权重的注意力融合方法。

在此基础上设计了三种不同的基于深度学习的乳腺癌分子亚型预测模型。最后利用Python、MATLAB等编程语言，开发了模块化的乳腺癌分子分型预测系统。本项目研究为乳腺癌的精准治疗及预后判断提供了理论基础和技术支持。

二、基于CCPA的无监督领域自适应医学图像分割算法架构图

这张图展示了一种基于类别中心原型对齐器（CCPA）的无监督领域自适应医学图像分割算法的架构。

整体架构

• 该架构主要分为三个部分，分别是源域（Source Domain）、条件域判别器（Conditional Domain Discriminator）和目标域（Target Domain），每个部分都有相应的模块和流程。

源域（Source Domain）

• 输入是磁共振成像（MRI）图像。
• 首先通过特征提取器G（Feature Extractor G），将MRI图像转换为一系列特征层（图中用橙色方块表示）。
• 这些特征随后输入到图像特征模块（Image Feature Fs），得到图像特征Fs。
• 接着，图像特征Fs进入掩码预测器P（Mask Predictor P），生成预测图Ms（Prediction Map Ms），最终输出到分割器（Segmenter），并计算分割损失Lseg。

条件域判别器（Conditional Domain Discriminator）

• 接收来自源域的图像特征Fs和预测图Ms，以及来自目标域的图像特征Ft和预测图Mt。
• 通过随机路由器（Randomized Router）处理后，计算条件域判别损失Lcdd。
• 同时，图像特征Fs和预测图Ms以及图像特征Ft和预测图Mt还会输入到类别中心原型对齐器（Category-Centric Prototype Aligner），计算类别中心原型对齐损失Lccpa。

目标域（Target Domain）

• 输入是计算机断层扫描（CT）图像。
• 同样经过特征提取器G，得到特征层，再进入图像特征模块得到图像特征Ft。
• 之后通过掩码预测器P生成预测图Mt，输出到分割器，并与源域的流程相呼应。

该算法架构旨在解决跨模态医学图像分割中的领域偏移及类别样本不平衡问题，通过无监督的方式实现医学图像的自适应分割，提高模型在不同领域数据上的泛化能力和分割准确性。

三、基于多组学注意力网络及跨模态张量融合的癌症亚型分类算法研究

该图展示了一种用于癌症亚型分类的算法流程，主要涉及多组学数据（如mRNA、miRNA、DNA等）的处理和融合，以实现更准确的癌症亚型分类。

整体流程

• 算法从多组学数据（Samples）开始，分别对不同类型的组学数据（如mRNA、miRNA、DNA）进行处理。
• 每个组学数据首先经过降维（Dimensionality reduction）处理，将原始高维数据降为低维表示（图中用黑色圆点表示）。
• 然后进行样本相似性学习（Sample similarity learning），通过Query（Q）、Key（K）和Value（V）的计算，生成权重（Weights），并经过Scale和Softmax操作，得到初始标签预测（Initial label prediction，如 y ^ 1 \hat{y}^{1} y^​1、 y ^ 2 \hat{y}^{2} y^​2、 y ^ 3 \hat{y}^{3} y^​3）。
• 不同组学的初始标签预测结果通过跨组学发现张量（Cross-omics discovery tensor）进行融合，得到融合后的张量 C 1 C_{1} C1​。
• 最后，将融合后的张量 C 1 C_{1} C1​输入到多组学相关学习网络（MOCN）中进行相关性学习，经过reshape等操作，最终得到癌症亚型的最终标签预测（Final label prediction）。

各部分详细解释

• 降维处理：多组学数据通常具有高维度，降维可以减少数据的复杂性，同时保留重要信息，便于后续处理和分析。
• 样本相似性学习：通过Query、Key和Value的机制，类似于注意力机制，学习样本之间的相似性，为每个样本分配不同的权重，从而突出重要的样本特征，生成更准确的初始标签预测。
• 跨组学发现张量融合：将不同组学的初始标签预测结果进行融合，考虑了不同组学之间的相互关系和互补信息，有助于提高分类的准确性和全面性。
• 多组学相关学习网络（MOCN）：对融合后的张量进行进一步的学习和处理，挖掘多组学数据之间的深层次相关性，最终输出癌症亚型的分类结果。

该算法旨在充分利用多组学数据的优势，通过注意力网络和跨模态张量融合等技术，提高癌症亚型分类的精度和可靠性，为癌症的精准诊断和治疗提供支持。

结束语

本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关资料，欢迎加入我的知识星球！