小罗碎碎念
今天分享的这篇文章发表于《Nat Cancer》，目前IF=23.5。
这篇题为《Artificial intelligence in histopathology: enhancing cancer research and clinical oncology》的综述文章探讨了人工智能（AI）在数字组织病理学图像分析中的应用，特别是在癌症研究和临床肿瘤学中的潜在影响。
第一作者和通讯作者，以及他们对应的单位列表
| 作者角色 | 作者姓名 | 单位名称（英文） | 单位名称（中文） |
|---|---|---|---|
| 第一作者 | Artem Shmatko | Division of AI in Oncology, German Cancer Research Center (DKFZ), Heidelberg, Germany | 德国癌症研究中心（DKFZ）肿瘤学人工智能部门，海德堡，德国 |
| 第一作者 | Narmin Ghaffari Laleh | Department of Medicine III, University Hospital RWTH Aachen, Aachen, Germany | 德国亚琛工业大学附属医院第三医学部，亚琛，德国 |
| 通讯作者 | Moritz Gerstung | German Cancer Research Center (DKFZ), Heidelberg, Germany | 德国癌症研究中心（DKFZ），海德堡，德国 |
| 通讯作者 | Jakob Nikolas Kather | Medical Faculty Carl Gustav Carus, Technical University Dresden, Dresden, Germany | 德国德累斯顿工业大学卡尔古斯塔夫卡鲁斯医学院，德累斯顿，德国 |
-
研究背景：
- 问题：癌症是复杂的、异质性的、多细胞生态系统，理解不同细胞类型之间的相互作用以及肿瘤的进化和生态对于有效治疗至关重要。
- 难点：传统的组织病理学依赖于人类专家的视觉检查，这一过程劳动强度大且难以标准化。尽管基因组学、转录组学和蛋白质组学分析在癌症研究中占据了重要地位，但组织病理学图像仍然是一个关键的数据层。
- 相关工作：近年来，AI技术的发展使得从数字组织病理学图像中提取定量信息成为可能，AI有望减少人类专家的工作量，提高病理报告的客观性和一致性，并通过提取常规数据中的隐藏信息产生临床影响。
-
方法：
- 自动化常规组织病理学工作流程：AI可以自动化许多常规任务，如肿瘤检测、亚型分类、未知原发癌的分类等。CNN在乳腺癌、前列腺癌和食管癌的肿瘤检测中表现出色。
- 深度学习扩展常规能力：AI系统可以直接从组织切片预测患者的生存率、治疗反应和遗传特征。例如，AI已被用于直接从组织病理学图像预测肝细胞癌、结直肠癌和脑肿瘤的生存率。
- 预测遗传变异和基因表达：AI可以从H&E染色的组织病理学图像中推断出多种遗传变异和基因表达。例如，AI能够预测结直肠癌、胃癌和子宫内膜癌的微卫星不稳定性（MSI）状态。
- 生成模型和合成数据：生成对抗网络（GANs）可以生成逼真的图像，用于数据增强和解释性分析。GANs已被用于生成保留癌症分子改变信息的图像。
-
实验：
- 实验设计：多项研究使用大规模数据集训练AI模型，以预测癌症患者的生存率、治疗反应和遗传变异。例如，一项研究使用了来自The Cancer Genome Atlas的超过10,000名前列腺癌患者的图像数据。
- 样本选择：实验样本包括多种癌症类型，如乳腺癌、结直肠癌、肺癌和胃癌。每个样本都经过严格的组织病理学评估和分子生物学验证。
- 参数配置：AI模型采用了多种CNN架构，如ResNet、Inception和EfficientNet，并结合了数据增强和迁移学习技术以提高模型的泛化能力。
-
结果与分析：
- 预测生存率：AI模型在多个癌症类型中表现出色，能够准确预测患者的生存率。例如，在肝细胞癌的研究中，AI模型的预测准确率达到了85%。
- 治疗反应预测：AI模型能够预测患者对免疫疗法和靶向疗法的反应。一项针对结直肠癌的研究显示，AI模型在预测MSI状态的准确率达到了90%。
- 遗传变异预测：AI模型能够从组织病理学图像中预测多种遗传变异。例如，AI在非小细胞肺癌的研究中成功预测了EGFR基因突变，准确率为75%。
-
总体结论：
- AI结合计算机视觉、分子病理学、基因组学和生物信息学的快速发展，使研究人员和临床医生能够以前所未有的细节和规模量化癌症的组织病理学特征。
- AI算法不仅用于诊断和预后任务，还能揭示广泛的组织学模式，指示广泛的分子和基因组改变。
- 尽管AI在癌症研究和临床肿瘤学中展现出巨大潜力，但仍需克服数据共享、标准化和算法鲁棒性等挑战。
这篇综述文章详细介绍了AI在组织病理学中的应用现状及其未来潜力，强调了AI在癌症研究和临床实践中的重要性和挑战。
一、引言
恶性肿瘤是由多种细胞类型组成的复杂、异质的多细胞生态系统1–3。理解不同细胞类型之间以及肿瘤演化和生态学的相互作用，对于有效癌症治疗至关重要4,5。
在过去几十年中，基因组学、转录组学和蛋白质组学分析已成为癌症研究的焦点6–11，并随后开始进入临床常规12（图1a）。
肿瘤的病理表型是补充基因组、转录组和蛋白质组的关键数据层，这些数据的结合对于癌症诊断至关重要。计算病理学是指人工智能在基于计算机的病理图像分析中的应用，这些方法在近期得到发展和广泛采用。
计算病理学方法可以从病理表型中提取信息，从而实现一系列新的研究和诊断应用（图1b）。
这一能力是组织病理学和分子诊断学领域快速技术进步以及计算机视觉和生物信息学方法创新的成果（框1和图1c）。
高通量技术的发展使得在全面分子水平上研究肿瘤的多样性属性成为可能，这些技术能对肿瘤及其微环境进行越来越精确和丰富的表征。利用生物信息学和数据科学的工具，可以从大量数据中提取生物和临床相关的信息，如可操作的驱动基因突变、癌症免疫治疗的生物标志物和预后评分。
相比之下，对病理表型的视觉检查是诊断实体肿瘤的关键，这一过程传统上由人类专家在光学显微镜下进行，技术辅助有限。对组织切片的视觉检查是诊断实体肿瘤所必需的。
自20世纪60年代起，数字病理学出版物开始使用预定义的特征，如核大小及其颜色强度，以及用于自动检测不同几何形状和图案的算法14。
在世纪之交，视觉特征描述符，如尺度不变特征变换和加速稳健特征，被用于一系列数字病理学问题15,16。随后，机器学习算法，如支持向量机或随机森林，被用来学习预定义图像特征与其他感兴趣变量之间的关联。相比之下，现代卷积神经网络（CNNs）实现了特征提取和关联学习的自动化17,18。CNNs通过使用多级图像结构，在每一尺度上使用数学操作（卷积）识别图案，从而有效地从图像中直接进行预测（图2）。
Fig. 2描述的是卷积神经网络（CNN）的工作原理，特别是在组织病理学图像分析中的应用。
以下是对Fig. 2的分析：
a. 输入图像：一张组织学图像瓦片（tile）被用作输入图像。在组织病理学中，这通常是指从更大的全切片图像（whole-slide image）中提取出来的一个小区域。
b. 卷积过程：一个卷积核（kernel）在图像上滑动，提取出较小的区域（例如，7×7像素），并将这些区域与一组滤波器（filters）进行比较。这个过程称为“卷积”。在模型训练过程中，这些滤波器会通过学习得到。
c. 特征映射：特定区域与特定滤波器匹配的好坏被记录在一组特征映射（feature maps）中。这些映射是对图像更抽象的表示，包含了图像的“本质”。
d. 多层卷积：在CNN中，多层卷积（conv.）堆叠在一起，最终对给定图像产生预测结果，例如，对突变状态的分类预测。随着卷积层的深入，后续的卷积和隐含的池化层（pooling layers）会压缩图像，但同时增加了数据的维度。在训练过程中，网络的浅层（接近输入端）学习检测简单形状，而深层（接近输出端）学习检测抽象概念。
这个过程中，CNN通过不同层次的卷积层来学习和提取图像的特征，从简单的边缘和纹理到更复杂的组织结构和模式。这些特征随后被用于进行图像的分类或其他类型的预测任务。例如，在病理学中，CNN可以用于识别肿瘤组织、预测癌症的突变状态或评估治疗效果等。通过这种方式，AI能够辅助病理学家进行更快速、更准确的诊断。
尽管神经网络自20世纪80年代就已存在，但直到2010年代初，更高效的算法才被开发出来，用于训练更大、更深的网络17（图1c）。这些深度学习算法构成了许多人工智能算法的基石，极大地提高了复杂CNNs的计算机视觉能力。
这对于癌症研究同样具有巨大潜力，因为计算机算法可以用来扩展人类的能力，通过筛选大量的数字化癌症病理切片，提取科学和临床相关的知识。这导致了自动化诊断任务的AI系统的开发，未来在临床应用中可能会减轻病理学家的工作负担。
此外，AI系统扩大了可以从常规病理切片中系统提取的信息类型。AI可以直接从苏木精-伊红（H&E）染色的常规病理学图像中预测抽象类别。即使在训练数据集仅具有单个切片标签的情况下，也有可能获得空间解析的预测（图3）。
高评分的图像瓦片可以被可视化，使人类专家能够检查AI系统的合理性，并在AI的帮助下发现新特征（图3c）。人类专家可以检查AI模型预测得分高的图像瓦片，这使他们能够调查这些预测的合理性，并可能识别图像中的新模式。这种检查可以通过100微米的比例尺来进行，图中的Mut表示突变型，WT表示野生型（未突变）。
这些方法共同促进了研究中的应用，包括提高研究队列中组织分子特征化的能力（图3d）。
在临床诊断中，AI方法可以直接从H&E染色的病理切片预测预后和治疗反应，并推断某些遗传改变（图3e）。
二、在癌症研究和诊断中的应用
本部分描述了如何通过适应已建立的计算方法来解决从常规肿瘤组织切片中提出的复杂且具有临床相关性的问题。
2-1：自动化常规病理学工作流程
肿瘤样本的病理学评估涉及固定在福尔马林中、切割、石蜡包埋、用H&E染色，随后由训练有素的病理学家在显微镜下进行视觉特征描述。病理学家根据标准化标准调查肿瘤组织的存在、亚型和其它组织学特征。
此外，对于许多肿瘤类型，还会进行更定量的分析，如评估肿瘤分级、计数有丝分裂细胞和肿瘤浸润淋巴细胞、肿瘤萌芽的量化以及许多其它依赖于肿瘤实体的分析类型23。许多此类任务劳动密集且观察者之间无法完全重复24。
许多与病理学相关的任务需要持续关注细节，这与计算机不同，病理学家在疲劳时可能会出现注意力波动。十年前，大多数应用于数字病理学的图像分析方法旨在自动化此类由人类专家或专家小组明确定义的重复性任务25。
CNNs扩大了计算机基于图像分析在许多常规病理学任务中的能力，包括针对乳腺癌26、前列腺癌27或食管癌28的肿瘤检测，通常在核心针穿刺活检标本或手术切除中进行。CNNs还可以进行肺和肾癌的亚型分类29,30。
此外，数字病理学能够分类未知原发灶的癌症，这类癌症难以诊断和治疗31。在前列腺癌的Gleason分级方面也取得了特定进展，这一任务通常被认为观察者之间存在较大变异32–34。
最后，存在基于CNN的方法用于计数有丝分裂细胞等劳动密集型任务35,36。这些仅是AI如何在潜在上减轻病理学家工作负担并使明确病例迅速得到诊断的几个示例，同时最小化更具挑战性任务中观察者变异的不利影响。
2-2：扩展传统能力与深度学习
在许多基本的图像分类问题中，真值可以由图像数据本身得出，无论是普通人还是专家，算法最终都是复制人类的决策过程。然而，也可以使用其他方式记录的训练标签，这在肿瘤学研究及临床应用中是常见的做法，同时具有增强人类技能的潜力。
例如，人工智能系统已被用于直接从组织学切片预测患者的生存期37–39。在这种情况下，真值并非由病理学专家从成像数据本身得出，而是由临床随访定义。同样，AI也被用于直接从病理切片预测肿瘤的遗传特性40。在后一种情况下，监督预测任务的标签由下一代测序或类似的分子生物学方法定义。
最后，AI方法可能通过直接从常规病理切片预测对特定药物的治疗反应，从而具有高临床影响。总的来说，所有真值不由病理图像上的人类专家定义的AI方法已被总结为“高级”预测任务13。这类任务在学术界和工业界的研究者中引起了极大的兴趣41，因为它们可能从病理切片中提取比人类专家更多的定量信息。
类似的想法已在其他医学成像领域得到探索，如从计算机断层扫描图像预测生存期42,43和从超声心动图图像预测分子标记物44。总的来说，在组织病理学及其他领域，这些方法大多受限于带有标签图像数据的合适数据集的可用性。
2-3：预后和治疗反应的预测
预后生物标志物允许预测特定癌症的自然进程。
组织病理学图像数据包含预后重要的信息，如淋巴细胞计数45,46、染色质模式47或组织类型的比例48，这些均可通过特定的数字病理学方法量化。
端到端AI方法不受限于任何预定义的模式，但可以综合超出预先知晓的多种微妙的视觉线索。此类方法能够在肝细胞癌38、结直肠癌49,50、间皮瘤51和脑肿瘤52等多种肿瘤类型中生成准确的风险评分。一些研究采用了泛癌症方法，训练AI模型使用端到端39或迁移学习19预测多种肿瘤类型的生存期。
然而，当此类研究仅限于单一的多中心图像数据库（如癌症基因组图集）时，简单训练的生存预测模型存在偏见和高风险，且泛化能力差53。这一观察强调了在开发预后AI生物标志物时，外部验证是必须的54。当预后AI模型被用于查询相关的形态学模式时，它们通常能够重现已建立的预后形态学标志38，但在某些情况下，也会识别出先前未知或被低估的预后模式21,22。
比预后更为临床相关的是预测对特定治疗的反应能力，这有助于肿瘤学家做出更好的治疗建议。
此类模型需要严格、理想情况下为前瞻性的54临床验证，这在基于AI的病理学预测生物标志物中尚未实现。然而，一些概念验证研究表明，AI能够直接从病理切片预测对免疫治疗55或靶向治疗56的反应。
一个中间步骤是预测已建立的治疗反应标志物，如在结直肠癌57–61、胃癌62或子宫内膜癌63中的微卫星不稳定性（MSI），这使得这些肿瘤对免疫检查点抑制剂免疫治疗敏感64。此外，免疫治疗反应的遗传替代标志物，如基因表达特征，已通过AI从病理图像中预测出来65。
一些研究者提出，将常规病理切片中衍生的形态学特征与其他数据类型结合在多模态AI模型中，以改善预后预测66–68。目前，从多个来源（包括组织病理学、放射学和基因组学）的数据集成，被广泛认为是AI在精准肿瘤学中改善患者预后的必要条件69,70。
2-4：预测遗传改变和基因表达
已经明确，癌症中的许多遗传改变与特定的组织病理学表型相关。
例如，具有微卫星不稳定性的肿瘤长期以来被认为与特定的模式相关，如肿瘤浸润淋巴细胞的密度较高或粘液性分化71,72。然而，在大多数肿瘤类型中，这种遗传-形态学关联并未被系统性地使用。这部分可能是因为病理学家需要定期在已知突变状态的样本上进行训练，才能可靠地检测这些突变。
一项2018年的研究描述了AI辅助预测非小细胞肺癌中临床相关基因的突变40。尽管预测性能未达到临床标准，但这项工作提供了开创性的原理证明，并催生了针对多种实体肿瘤类型的研究，包括乳腺癌73、前列腺癌74和胃肠肿瘤61,75,76。
特别是，AI被证明能够从组织学中预测结直肠癌、胃癌和子宫内膜癌的微卫星不稳定状态，随后在多个较大的随访研究中得到了验证58,59,62,63,77–81。
其他研究表明，仅凭H&E病理学就可以推断出数十种临床相关的遗传改变。
一项泛癌症的AI基于迁移学习模型显示，在28种癌症类型中，许多基因组改变类型与组织病理学显著相关，包括全基因组复制、拷贝数改变和点突变19。
另一篇论文显示，使用轻量级神经网络模型也可以达到类似的结果20。还有一项工作专注于基因表达，为各种癌症提供了超过104个基因的显著预测，结果在不同数据集中差异很大79。
其他研究专注于由转录组特征定义的已知肿瘤亚型，AI仅凭H&E切片就能重现这些特征，例如在肺癌82和结直肠癌76中。重要的是，已知组织病理学癌症亚型之间的差异显示了分子变化的相似趋势，但关联程度通常较弱，这表明AI学习到的组织病理学模式并非传统分类的一部分19。
2-5：预测肿瘤克隆性和空间异质性
当从组织病理学切片直接预测遗传特征时，真值标签通常通过批量分析方法获得，如来自肿瘤组织批量的DNA的下一代测序（NGS）。这些分子方法通常不具有空间解析能力。然而，处理整个切片中的小瓦片而非整个切片可以产生空间解析的预测（图3b）。
尽管这种预测的肿瘤内异质性可能被视为复杂处理流程的产物，但它已被证明反映了遗传异质性79,83,84以及转录组定义的细胞类型的空间模式19,79。
AI系统仅通过训练批量基因组学、转录组学或预后数据，就能学习空间模式并增强现有数据信息的能力，可能导致对肿瘤克隆性和细胞异质性的新见解85。这种方法广泛应用于全切片图像上的肿瘤区域检测26,29。
AI模型还可以用于研究细胞层面的肿瘤异质性86。这类方法可能从新兴的空间转录组学87–91和基因组学92,93技术中获益，这些技术能够实现原位检测转录组模式和突变。
这些类型的数据集可能为进一 步优化AI算法提供空间解析的真值，以便从组织病理学数据单独生成空间解析的预测。
三、方法创新
新技术的发展有助于持续完善数字病理学方法，使其能够从常规可获得的组织切片提取大量隐藏信息。
3-1：减少对标记训练数据的需求
医学图像分析中的AI可以广泛分为监督（图4a）和非监督（图4b）两种类型。
在监督方法中，目标是预测给定输入的已知标签，并评估模型的性能。
- 对于分类标签，这一任务被称为分类问题20,94–96。在组织病理学图像分析中，常见的分类问题是从图像数据预测肿瘤组织的临床属性，例如，预测肿瘤的预后表型、肿瘤分级或感兴趣基因的突变状态19,20。
- 对于连续数值标签，这一任务被称为回归问题97。数字病理学中任何监督学习问题的关键缺点是生成标签往往需要大量劳动或成本。
非监督方法不需要标签，但可以提取与聚类、异常检测和降维等任务相关的知识，通过研究训练数据中的模式（图4b）。由于它们可以应用于没有真值标签的原始数据，非监督方法通常对处理极其庞大的数据集非常有用98–102。
第三种方法，自监督学习（SSL），与非监督学习有关（图4c）。
通过SSL，模型可以使用未标记的数据学习图像的形态学、几何学和上下文内容103。研究人员可以通过SSL在未标记的数据集上预训练神经网络，允许网络学习数据集中许多样本中出现的模式。随后，经过此类训练的网络可以应用于监督预测任务78,103–105。这种两步管道已被证明比传统的单步监督工作流程更强大78,97,106。
最后，自然语言处理（NLP）与图像分析的显著进步107有可能基于切片扫描和现有相关的病理报告训练数字病理学应用，这可能会减少进一步费力的注释需求。
3-2：生成模型和合成数据
生成对抗网络（GANs）在真实图像的集合上进行训练，随后生成与任何特定输入图像相似但不是完全相同的新的图像108（图4d）。
变分自动编码器和扩散模型也实现了类似的生成任务，有时比GANs更容易训练。然而，变分自动编码器不太通用，扩散模型需要大量的计算资源。
生成逼真的合成数据的能力提供了一系列应用108,109。例如，合成数据可以用于增强原始数据集，从而提高具有有限训练数据的AI模型的性能108。这类似于但比简单的数据增强更通用和数据驱动，数据增强意味着对图像应用小的变换，如旋转或轻微的扭曲，以丰富训练数据集。
另一个重要的发展是条件GANs，它们生成具有一组定义属性但其他方面相同的图像。在计算病理学中，GANs可以合成保留关于癌症分子改变的逼真图像补丁110。此外，生成过程可以被设计来反映可解释的组织病理学状态和亚型；这被称为条件图像生成111。
条件GANs已用于染色颜色标准化，并能将H&E染色转换为模仿免疫荧光染色的图像。此外，扩散模型产生高质量的病理学图像，同时更容易训练109。作者预计，在未来十年，现代生成模型将越来越多地用于计算病理学。作为一个积极的结果，它们也可能在总体上提高AI方法在组织病理学中的可解释性。
3-3：学习空间异质性模式
大多数AI方法最初是为非医学应用开发的，并在延迟后转移到组织病理学图像分析，因为组织病理学全切片图像太大，无法直接由CNN处理。几乎所有计算病理学研究都通过从全切片图像中提取小补丁或瓦片（图5a）来解决这个问题。
然而，这导致了一个问题：在给定基因的突变状态作为预测目标的监督预测任务中，标签仅定义于整个切片图像，而非每个单独的瓦片，使得监督任务变成了弱监督任务。
通常，切片上有肿瘤和非肿瘤组织（图5b），只有肿瘤组织与分子改变相关联。
这个问题在一个研究中得到了显著解决，该研究使用了手动肿瘤轮廓来生成仅来自肿瘤组织的瓦片40。作者做出了强假设，认为所有从肿瘤组织生成的图像瓦片都将继承患者的真值标签（图5c，左）。
随后训练了一个CNN来预测每个瓦片的突变状态，最后在切片级别上聚合瓦片级别的预测（图5d，左）。
其他研究随后采用了这一协议，并进行了微小的调整，证明了它在许多临床有用的任务中的广泛适用性，并研究了多种改进13,57。
有趣的是，即使是在放宽假设的管道中，预测性能也显示出了高度的可行性20。一般来说，只有肿瘤组织（而不是肿瘤相邻的健康组织）才包含有关分子改变的信息。然而，在平均切片上，肿瘤内容（即信噪比）足够高，使得无需预先选择瓦片即可从图像瓦片中进行突变预测19,20,62（图5d，中心）。
最近，多实例学习（MIL）在计算病理学领域占据了主导地位。
在MIL中，假设不是从给定切片生成的所有瓦片都反映了真值标签。只有从整个切片图像生成的多数（或“包”）瓦片与特定的标签相关联（图5c，右）。
早在2010年，就有几个小组在病理图像分析中尝试了MIL112,113，但这些想法直到几年后才更广泛地被采用114。在2019年，这一发展达到了高潮，至今为止最大的计算病理学研究分析了超过10,000名前列腺癌患者的图像27。
然而，实际上，简单的MIL实现已被证明在突变预测任务中表现不佳115。MIL可以与一个“注意”方法相结合，其中模型学习每个瓦片对最终分类的贡献程度。在这种情况下，聚合函数不是一个简单的平均值，而是对每个瓦片应用权重29,31（图5d，右）。
从经验上讲，所有这些方法都可以产生良好的结果，目前尚不清楚哪一种方法普遍优越115。这些常用方法的变体包括在突变分类器中引入一个明确的“正常组织”类别75，或者对瓦片进行聚类，随后专家对聚类进行评级116。鉴于这一研究领域的发展是动态的，可以假设处理策略在未来十年内仍将演变。
3-4：学习远程模式与transformers
自2018年以来，CNN一直是计算病理学的核心。它们在计算图像分析方面取得了巨大的进步，但受到其僵硬结构的限制，其中来自附近像素的信息在定义的步骤中整合，而整个图像中的长程交互并不总是被模型学习。
在这方面，最初为自然语言处理开发的transformers更加灵活，因为它们可以在输入数据中学习远程模式（也称为长程交互）。在自然语言处理背景下，transformers架构已经取代了经典神经网络架构，成为几乎所有应用中的最新技术。
2020年，谷歌和Facebook的团队突出介绍了视觉transformers118,119。它们的出现不久后，transformers就在许多计算机视觉任务中超越了CNN，并证明了对对抗攻击更加稳健120,121。历史上，使用transformers被认为是需要非常大的预训练数据集的预先条件；然而，最近开发的训练策略部分消除了这种依赖性122。特别是，在ImageNet数据集上预训练的transformers在各种计算组织病理学任务中优于其他架构115。
因此，transformers架构有望对计算病理学尤其有用，特别是在分析更大图像区域的情况下，远程模式比小图像瓦片更为相关。
3-5：隐私保护
AI模型的联合训练无需数据交换。
训练改进的AI算法的一个基本要求是高质量训练数据的可用性。训练数据的规模和多样性是训练稳健、无偏见和高性能的组织病理学AI模型的重要因素27,58。在某些情况下，实际和法律问题阻碍了机构之间大规模共享数据。
尽管数字病理学图像本身不包含任何可识别的个人信息，但它可能包含与图像一起使用的临床或基因组数据（元数据）。在这些情况下，无需共享任何数据就可以联合训练AI模型，这既保护了隐私，又结合了不同机构的计算能力。
在组织病理学中，分布式学习有两条主要途径被探索。
在联邦学习中123，多个模型独立地分别在一个单独的数据集上进行训练（图6b）。
在训练过程中，参与者使用一个中央服务器交换模型更新，而不透露数据本身。服务器合并模型权重，并发送更新的模型回每个参与者。
类似地，在群学习124,125中，多个方共同训练一个模型，但这种情况下，它们是通过基于区块链的通信进行协调的。因此，这种方法消除了对中央服务器的需要，允许通过点对点网络直接交换模型更新（图6b），并且对单个方的损失更加稳健。
此外，在群学习中，网络的控制权分布而不是集中在单一行为者手中。作者预计，未来，开源项目将实现群学习的新的变体，这可能导致在组织病理学乃至其他领域中安全、平等和隐私保护的AI模型联合训练。
作为分布式系统的一种替代方案，生成AI是解决组织病理学中数据共享问题的可能解决方案126（图6c）。如果一个GAN在大型数据集（数千张图像及其相关元数据）上进行训练，那么从新合成的数据或模型本身几乎不可能提取任何私人信息；然而，关于开发新攻击方法的研究正在进行中，其中一些是经典“成员资格推断攻击”的变体127。
四、迈向临床实施
AI现在广泛用于癌症研究，并扩展了作者对肿瘤表型的定量理解。除了这些研究应用外，AI算法正朝着临床部署的方向发展，这一点从越来越多活跃在这一领域的商业企业中可以看出。
然而，将研究生物标志物转化为临床应用并不简单，需要额外的预防措施。
4-1：质量控制和稳健性
为了使算法具有临床适用性，它必须在不同的临床环境中预期的一系列数据集上准确且一致地执行。不幸的是，当将组织病理学AI解决方案部署到不同的数据集时，通常会观察到所谓的“域转移”，这意味着组织病理学图像的属性或预测分数的分布不同。
这些差异包括训练数据的技术、数字和组成偏差53，甚至包括滑片上的微小伪影，如灰尘、划痕或指纹128。如果没有缓解，这可能会对AI系统的性能产生不利影响，导致错误的预测，往往由于某种程度的过度自信而加剧。因为最终目的是在临床常规中使用AI系统，这是非常不利的。
缓解这一问题的一个方法是确保有一个稳健的质量控制程序，使算法能够检测异常输入数据129。另一种方法是使用“域适应”方法，允许在无监督的情况下将AI模型扩展到新的数据集，无需从头开始重新训练模型或收集新的标记数据130。此外，在常规使用之前，AI系统应在目标人群中进行训练或至少进行验证。
4-2：AI系统中的偏见
此外，AI系统可以复制在其训练和分析的数据集中固有的偏见。
这是有问题的，因为它可能会传播许多医疗数据中固有的性别歧视、种族主义和其他类型的歧视131,132。为了解决这些问题，一些研究建议通过改进质量控制，确保只有高质量和适当的数据作为AI模型的输入133。
作为一种简单的方法，一些研究建议在具有广泛变异性的大型跨国队列上训练这些系统58,62。然而，汇集如此大规模的数据集往往受到实际和法律障碍的阻碍。与此同时，技术改进使研究人员能够使用更小的数据集训练更稳健的AI模型，提高了模型的泛化能力29,61。
作者预计，在未来十年，这一趋势将继续，并且将出现用于研究的新颖、更稳健的组织病理学AI架构。为了缓解与计算病理学中AI相关的问题，正在研究和应该进行一系列硬化措施的调查（图6a）。
4-3：AI系统的可解释性和合理性
AI系统通常被称为“黑箱”，因为它们的决策过程往往不透明。普遍的共识是，这种固有的不可解释性是有问题的，因为它会产生上述偏见，增加检测假阳性或假阴性的困难，并且隐藏了可以从AI中获得的潜在见解133。然而，也有人认为，一个表现良好的模型不一定需要可解释性才能有用134。
可视化与算法决策相关联的原型图像是一种有用的方式来理解底层特征。当学习任务不是基于视觉定义的特征（如突变）时，这种概览尤其有洞察力21,22。此类概览还可以使用t-SNE（t分布随机邻域嵌入）或UMAP（统一流形近似和投影）图像特征的图来揭示算法认为相似的哪些图像19,135。
此外，可以检查单个图像的特定部分，例如，通过提取高度预测的图像区域19和预测热图40。类似地，更模型中心的方法是通过模型注意热图29或深度梦境图像48来揭示有用的图像特征。
这些可视化和新的可解释性方法，如激活图谱136或识别特定的多模态神经元137，使人类专家能够部分重现算法的决策，通过提供一定程度的感知和数学可解释性138。
然而，可视化不等于解释，这些方法仍然远未提供AI模型内部机制的真实解释。随着可解释AI（XAI）算法的开发，这种情况可能会改变，这些算法还学习其决策制定的明确抽象、规则甚至自然语言描述139。AI在连接图像和文本方面取得的进展107对组织病理学特别重要，因为算法不仅可以从图像学习，还可以学习生成基本的组织病理学报告。
因此，作者预计，在未来十年，生物医学研究人员将采用这些方法，并将它们应用于癌症研究，类似于过去非医学领域开发的新技术被生物医学研究人员采用的情况13,141。
4-4：临床AI工作流程
随着计算病理学领域的成熟，越来越多的高级编程包可供学术界使用。
对于没有编程技能的最终用户，开源软件QuPath142仍然是分析图像的强大工具。对于具有基本Python编程技能的研究人员，多个包允许轻松应用端到端工作流程，例如CLAM29、DeepMed143、TIAToolbox144、PathML145和slideflow146。
然而，这些管道目前仅用于研究，而开发用于临床应用的软件完全是另一回事。此外，任何用于临床常规的任何诊断、预后或预测生物标志物都应经过严格的测试，并最好进行前瞻性验证54。严格的标准化应已应用于临床前和早期临床工作；实际上，这越来越多地由AI特定的科学研究报告指南要求147,148。
尽管上述取得了巨大进步，但临床成熟的适应仍然很少。
除了证明足够的准确性和实用性之外，实现给定图像分析系统的泛化性，以评估其在严格试验中的性能，并将其嵌入到现实世界的实践中，仍然是一个关键问题54。
诊断AI系统的盲法、前瞻性试验已成功进行149，并应在未来继续进行，以实现AI生物标志物的临床部署。此外，监管机构已建议AI开发的指导原则，例如“良好机器学习实践”（参考文献150）。这些指导原则中突出显示的关键点是人类-计算机交互，描述了病理学家在现实世界中如何使用AI模型，并要求可解释的AI元素。
目前，很少有应用程序通过这一门槛。由于前列腺癌的高发病率以及组织病理学评估中通常存在的巨大观察者变异，前列腺癌的检测和分级受到了广泛关注27,33,34。2021年，美国食品和药物管理局授予Paige公司一款前列腺癌检测软件的市场授权151。
然而，当前的诊断常规仍然涉及病理学家对最简单的定量任务的视觉评估。
病理AI系统滞后的一个关键原因是，与许多其他医学成像技术不同，病理常规工作流程很少是完全数字化的152。
然而，数字病理学应用的益处预计将在未来十年内导致许多病理部门中组织病理学工作流程的数字化。
这尤其适用于自动化现有诊断任务、增强当前工作流程并减少病理学家的工作量，后者是高度训练的专业人士，在全球范围内短缺，尤其是在人口老龄化和全球癌症病例上升的背景下，这是一个尤其严重的问题。
五、结论
结合计算机视觉、分子病理学、基因组学和生物信息学的快速发展，计算病理学使得研究人员和临床医生能够以前所未有的细节和规模量化癌症的组织病理学。AI算法为从大量分子和病理学数据中提取生物和临床相关信息提供了框架。
除了诊断和预后任务外，一系列出版物还表明，AI算法揭示了多种与广泛的分子和基因组改变相关的组织病理学模式。在某些情况下，并且当有足够的训练数据可用时，甚至可以从标准的组织病理学切片预测出潜在的遗传改变，其准确性可与分子测试相媲美，例如在微卫星不稳定性的情况下。
尽管基于AI的预测器不太可能完全取代基因组分析，但它们可以作为可立即获得的初步诊断工具，提供评估未知重要性的基因组改变是否产生预期表型的能力，并提供空间上下文。后者尤其重要，因为肿瘤并非均质，而是由遗传多样性的癌细胞生态系统构成，这些癌细胞与广泛的各种正常细胞类型相互作用。通过AI理解这些细胞表型和相互作用的模式将为癌症生物学提供新的见解，并为识别新的临床生物标志物奠定基础。
随着首个基于AI的组织病理学算法进入临床，需要克服一系列障碍。国际数据共享将有助于为临床实践训练更稳健、更准确的算法。这需要更稳健的AI算法和创新的分发学习方法的支持，这些方法将有助于克服由数据保护产生的障碍，并使各方能够从共享的数据存储中受益。
实现这一目标将需要类似于基因组学领域由全球基因组健康联盟（https://www.ga4gh.org/）或国际癌症基因组联盟——加速基因组肿瘤学研究（https://www.icgc-argo.org/）设定的数据共享框架和标准化。创建类似ImageNet的社区标准数据集不仅将加速新算法的开发，还将允许对新的方法进行客观评估。
类似于由负担得起的测序技术和可靠的算法驱动的基因组医学新兴领域，AI支持的计算病理学可能会在未来改变癌症的诊断、研究和治疗方式。
标签：24,预测,Cancer,AI,08,图像,肿瘤,模型,病理学 From： https://blog.csdn.net/qq_45404805/article/details/141292580