小罗碎碎念
今天和大家分享的这个项目属于国自然青年基金，直接费用24.5万，与22年12月结题。
本项目旨在通过联合病理图像和转录组数据来预测结肠癌的预后，以提高预测精度。病理检查是肿瘤诊断的金标准，但其蕴含的与癌症预后相关的丰富信息尚未被充分挖掘。同时，随着测序技术的发展，分子数据也逐渐用于癌症预后判断。
这项目非常具有参考价值，一方面是因为选题在当时相对新颖，另一方面是因为这个项目的结题成果与申请书中写的有出入——原计划联合病理图像和转录组数据预测结肠癌预后，但实验中发现提取的细胞拓扑分布特征不能有效区分结肠癌患者风险组，调整为对其他疾病的计算机辅助诊断和预后研究。
项目提出了一种新方法，利用深度卷积神经网络对病理图像中的细胞进行精确检测和分类，提取描述肿瘤微环境的细胞拓扑分布特征，并在稀疏典型性相关分析模型中引入生存先验，从高维多模数据中选择有效预测预后的重要特征，构建预后模型。
项目取得了显著的研究成果，主要包括发表学术论文10篇，其中SCI收录8篇，申请专利1项。项目组开发了病理组学特征提取方法，并进行了开源。在国际上首次提出基于HE染色病理图像的TFE3易位型肾细胞癌鉴别诊断方法，发现TFE3易位型肾细胞癌与透明细胞肾细胞癌在52个图像特征中存在显著差异，分类模型的自动鉴别诊断性能为AUC=0.894。此外，项目还系统分析了胃腺癌组织形态学特征与高频突变基因以及患者总生存之间的关联，帮助理解肿瘤组织形态的底层分子基础。
知识星球
如需获取推文中提及的各种资料，欢迎加入我的知识星球！
一、项目介绍
病理检查是进行肿瘤良性诊断、病理分型和预后的一种最常用的手段。
对病理图像进行计算分析能够从中挖掘出人眼难以察觉的、客观的、定量的图像特征，从而能更好地对疾病表型进行建模。
本项目旨在提出一种对HE染色病理图像进行定量分析的特征提取方法，用于癌症的计算机辅助诊断和预后。主要包括以下研究内容：
1）病理图像特征提取：细胞核分割、细胞核级的特征提取、细胞核级特征聚合成患者级特征；
2）研究基于HE染色病理图像的TFE3易位型肾细胞癌鉴别诊断；
3）研究病理图像特征与基因突变和预后的关联。
本项目取得了优异的研究成果
主要包括：
- 以第一或通讯作者发表学术论文10篇，其中SCI收录8篇（包括Nature Communications和Medical Image Analysis等国际顶刊），MICCAI会议论文1篇；
- 申请专利1项。
项目组取得的重要学术贡献
1）开发了病理组学特征提取方法，并进行了开源；
2）在国际上首次提出基于HE染色病理图像的TFE3易位型肾细胞癌鉴别诊断方法，发现TFE3易位型肾细胞癌与透明细胞肾细胞癌在52个图像特征中存在显著差异，分类模型自动鉴别诊断的性能为AUC=0.894；
3）系统分析了胃腺癌组织形态学特征与高频突变基因以及患者总生存之间的关联，并结合转录组数据挖掘预后模型中重要特征涉及的生物过程，帮助理解肿瘤组织形态的底层分子基础。
二、研究工作进展与成果意义
基于常规HE染色病理图像的TFE3易位型细胞癌诊断
收集最大TFE3 - RCC数据集（74例），开发分析方法挖掘肿瘤组织形态学改变，用机器学习区分TFE3 - RCC和透明细胞肾细胞癌，验证集分类性能达ROC曲线下面积0.894，为该肾细胞癌亚型诊断提供新思路和临床价值。
肿瘤组织形态学特征与高频突变基因和患者总生存之间的关联
收集310例胃腺癌患者多模态数据进行关联分析，开发图像分析流程提取定量形态学特征。
发现四种体细胞突变基因与肿瘤形态学变化显著相关，基于图像特征的预后模型可划分患者风险组，风险指数是额外预后因素，相关基因在细胞周期和肌肉收缩等生物学过程富集，表明病理图像特征可反映突变信息和鉴别高危患者，具有转化应用前景。
基于生成对抗网络的可编辑图像合成系统
提出可编辑超声图像合成系统，采用特定框架，结合背景纹理信息，通过渐进训练和特征损失函数提升合成效果，在肺部、新生儿髋关节和卵巢超声数据上验证，性能最优，可用于新手超声医师培训和提升深度学习模型性能。
适用于多任务的混合网络结构搜索方法
提出用于超声图像分类和分割的混合NAS框架，由主干网络和搜索单元组成，引入有效轻量级操作增强多样性和搜索能力，减少模型参数并提高性能，还提出重新聚合策略，在两个医学图像数据集上测试，优于其他方法，可生成更强大轻量级网络模型。
三、研究设计概览
下图展示了一个医学研究项目的工作流程和部分实验结果，主要涉及通过全玻片成像（Whole - slide imaging）和形态学表型（Morphological phenotyping）区分tRCC（肾嫌色细胞癌）和ccRCC（肾透明细胞癌）。
全玻片成像（a Whole - slide imaging）
- 过程描述
- 从患者（图中用一个蓝色人形图标表示）身上获取手术切除的样本（Resection）。
- 将样本处理成全玻片图像（Whole - slide image），这一过程在图中通过一个显微镜和计算机系统表示。
形态学表型（b Morphological phenotyping）
展示了对细胞核的不同表型分析，包括：
- Nucleus size：细胞核大小。
- Nucleus staining：细胞核染色情况。
- Nucleus Shape：细胞核形状。
- Nucleus density：细胞核密度。
区分tRCC和ccRCC（c Distinguishing tRCC from ccRCC）
样本处理和分析
- 从样本（Sample）中提取图像特征（Image feature）。
- 使用机器学习（Machine learning）算法对这些特征进行分析。
- 通过U检验（U test）来评估和区分tRCC和ccRCC。
实验结果
- 展示了不同数据集（Dataset 1和Dataset 2）中tRCC和ccRCC患者的数量。
- 展示了通过图像特征区分tRCC和ccRCC的一些统计结果，例如area_bin1和area_bin5的柱状图，用于比较两种癌症类型在这些特征上的差异。
研究背景和意义
-
背景
肾嫌色细胞癌（tRCC）和肾透明细胞癌（ccRCC）是两种常见的肾癌类型，准确区分它们对于诊断和治疗至关重要。
-
意义
通过全玻片成像和形态学表型分析，结合机器学习算法，可以更准确地鉴别这两种癌症类型，有助于提高诊断的准确性和治疗的针对性。
四、生成对抗网络在项目中的应用
在该项目中，生成对抗网络（GAN）被应用于超声图像的合成，以提高图像质量和数据多样性。
具体来说，研究团队开发了一种基于GAN的图像合成系统，该系统能够生成逼真且可编辑的超声图像。
该系统采用生成对抗网络的图像到图像的转化框架，结合超声背景纹理信息，并在训练中采取渐进训练的方式和特征损失函数，从而提升了图像合成的逼真度和分辨率。
这种应用不仅为新手超声医师提供了丰富的训练材料，还为深度学习模型的训练提供了更多的标注数据，从而提高了模型的性能。
基于生成对抗网络的图像合成框架
下图展示了一个基于生成对抗网络（GAN）的图像生成模型的架构和训练流程——这种基于GAN的图像生成模型在医学影像领域有广泛应用，特别是在超声图像的生成和增强方面。通过生成高质量的超声图像，可以辅助医生进行更准确的诊断，同时也可以用于医学影像数据的扩充和模拟。
整体架构
该模型主要由以下几个部分组成：
- Generator（生成器）：负责生成图像。
- Discriminator（判别器）：负责判断输入的图像是真实的还是生成的。
- Feature Extraction Network（特征提取网络）：用于提取图像特征。
生成器（Generator）
输入：
- Real images（真实图像）：来自数据集的真实超声图像。
- Composite labels（复合标签）：用于指导生成过程的标签信息。
处理步骤：
- Resize to 256x256（调整大小）：将输入的真实图像调整为256x256像素。
- Residual Blocks（残差块）：通过多个残差块对图像进行处理，逐步生成高质量的图像。
- FIB - U（上采样模块）：对图像进行上采样，生成最终的生成图像（Generated images）。
判别器（Discriminator）
输入：
- Generated images（生成图像）：由生成器生成的图像。
- Real images（真实图像）：来自数据集的真实图像。
- Composite labels（复合标签）：用于指导判别过程的标签信息。
处理步骤：
- Resize to 512x512（调整大小）：将输入的真实图像和生成图像调整为512x512像素。
- Residual Blocks（残差块）：通过多个残差块对图像进行处理。
- FIB - D（下采样模块）：对图像进行下采样，最终输出判别结果。
特征提取网络（Feature Extraction Network）
输入：
- Real images（真实图像）：来自数据集的真实超声图像。
处理步骤：
- Mean Covariance（均值协方差）：计算图像特征的均值和协方差。
- Composite labels（复合标签）：用于指导特征提取过程的标签信息。
训练流程
- Progressive training（渐进式训练）：模型通过渐进式训练逐步提高生成和判别能力。
- 损失函数：通过判别器和生成器之间的对抗训练，最小化损失函数，使生成的图像尽可能接近真实图像。
结束语
本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关资料，欢迎加入我的知识星球！
标签：预后,25,01,05,特征,病理,细胞,生成,图像 From： https://blog.csdn.net/qq_45404805/article/details/144942825