利用分子信息辅助标注病理切片，本科生也可以达到高年资医生的标注水平｜文献精析·24-11-18

标签：分子 F1 配准 图像 细胞 病理切片 年资 标注

小罗碎碎念

文章的标题是《Democratizing Pathological Image Segmentation with Lay Annotators via Molecular-empowered Learning》，作者是来自范德堡大学、NVIDIA公司和范德堡大学医学中心的研究人员。

文章探讨了如何通过“分子赋能学习”方案，使用非专业领域知识的普通标注者（lay annotators）来进行病理图像分割，以降低对专业领域专家（如病理学家）的依赖，并提高分割的准确性和效率。

实验结果表明，使用分子信息标注的方法（F1 = 0.8496）比传统的基于形态学的标注（F1 = 0.7015）表现更好。这种方法使得病理分割深度模型的开发可以扩展到普通标注者层面，类似于非医学计算机视觉任务。

文章还详细介绍了整个标注和自动量化流程，包括形态分子多模态配准、分子信息标注和分子导向校正学习的具体步骤。此外，文章还提供了数据和实验部分，包括数据收集、实验设置、评估指标和结果。

最后，文章得出结论，提出的分子赋能学习方案能够将多类细胞分割深度学习模型的开发从专家层面降低到普通标注者层面，同时提出了一种有效的校正学习策略来抵消来自普通标注者的噪声标签学习的影响。研究结果证明了仅依靠普通标注者部署病理AI模型的可行性。

PS：这篇文章属于未公开发表的文章，大家可以通过aXiv获取，也可以通过知识星球获取。

---

一、引言

多类细胞分割是分析数字病理学中组织样本的关键技术。

精确的细胞量化可以帮助病理学家识别和诊断疾病[5,29]，并获得关于疾病进展[23]、严重程度[28]和治疗有效性[15]的详细信息。

例如，肾小球中足细胞和系膜细胞的分布和密度为肾病理学中的功能损伤提供了微弱的信号[14]。由于昂贵的医学培训、漫长的注释时间、较大的变异性[30]以及低准确性，即使是经验丰富的病理学家也难以进行细胞级别的表征，而雇佣大量经验丰富的病理学家进行细胞注释又不切实际。

先前的研究提出了几种计算机视觉工具，用于对病理图像进行自动化或半自动化的细胞分割[17]，包括AnnotatorJ[12]、NuClick[16]、QuPath[2]等。这类软件能够通过编译预训练的分割模型[11]、颜色去卷积[25]或统计分析[22]来标记细胞核、细胞和多细胞结构。

然而，这些自动方法仍然严重依赖于来自病理学周期酸–希夫（PAS）图像的细胞形态学，因此需要密集的人力干预以提供额外的监督和纠正。

---

最近，免疫荧光（IF）染色成像（使用荧光标记抗体）已被广泛用于同时可视化单个样本中的多个生物分子[6, 20]。这种技术可以准确地为研究细胞群体的异质性提供指导，为细胞注释提供可靠的信息。

本文提出了一种全面的分子赋能学习方案，通过仅使用非专业注释者（图1）来进行人工智能病理图像分割。

图中分为三个部分，分别代表不同的标注方法及其效果：

1. 标准（Standard）：

   • 由具有数十年经验的病理学专家（M.D.）进行标注。
   • 仅使用PAS（Periodic Acid-Schiff，周期酸-希夫染色）染色图像进行标注。
   • 图中显示了两种细胞类型：足细胞（Podocyte）和间皮细胞（Mesangial）。
   • 足细胞的F1分数为0.7071，间皮细胞的F1分数为0.6959。
   • F1分数是精确度和召回率的调和平均，用于衡量模型性能。

2. 作者的方法（Ours）：

   • 由非专家的本科生（工程学专业）进行标注。
   • 使用了PAS染色图像和IF（免疫荧光）图像进行标注。
   • 同样显示了足细胞和间皮细胞的标注结果。
   • 足细胞的F1分数提高到了0.9893，间皮细胞的F1分数提高到了0.8604，这表明分子信息辅助的标注方法显著提高了标注质量。

3. 金标准（Gold Standard）：

   • 由具有数十年经验的病理学专家进行标注。
   • 使用PAS和IF图像进行标注。
   • 作为研究的金标准，用于比较其他方法的标注质量。

结论：

• 分子信息（如IF图像）的辅助可以显著提高非专家标注者的标注质量，使其接近专家水平。
• 这种方法可能有助于在病理图像分析中创建更大规模、更高质量的标注数据集。

---

二、方法

整个标注与自动量化流程的总体框架展示于图2。

该框架分为三个主要步骤：

Step 1: 形态学-分子多模态图像配准（Morphology-molecular multi-modality image registration）

• 输入：原始的成对图像，包括免疫荧光（IF）和周期酸-希夫（PAS）染色图像。
• 过程：
  • Slide-wise registration：对整个幻灯片进行初步配准。
  • Region-wise registration：对特定区域进行更精细的配准。
• 输出：配准后的图像，为下一步的标注做准备。

---

Step 2: 分子信息辅助的业余标注（Molecular-informed layman annotation）

• 过程：
  • Glomerulus detection：检测肾小球，这是肾脏的基本功能单位。
  • Lay annotation：由非专家（如本科生或工程学专业的学生）进行的初步标注。
• 输出：业余标注的图像，这些标注将用于后续的纠正学习。

---

Step 3: 分子导向的纠正学习（Molecular-oriented corrective learning）

• 过程：
  • Corrective learning：基于分子信息对业余标注进行纠正和优化。
• 输出：最终的金标准（Gold standard）标注，这些标注将用于训练和评估病理图像分割模型。

---

通过多尺度配准，将分子图像与解剖图像对齐，以提供精确的细胞标注指导。在此配准之后，实施功能单元分割模型以定位肾小球区域。

在这些肾小球内，非专业注释者使用ImageJ [12]中的成对分子图像和解剖图像对多种细胞类型进行标注。采用了一种带有分子导向纠正学习策略的部分标签学习模型，以缩小非专业注释者标签与金标准标签之间的差距。

---

2-1：形态-分子多模态配准

采用多模态、多尺度配准，以确保分子IF图像与PAS图像在WSI和区域水平上的像素到像素对应（对齐）。为了保持功能单元结构的形态学特征，采用了一种切片级别的多模态配准流程（Map3D）[8]，将分子图像配准到解剖图像。第一阶段是全局对齐。Map3D方法用于在遇到缺失组织和染色变化时，在WSIs上实现可靠平移。此阶段的输出是一对一的仿射矩阵MMap3D(t)，来源于方程（1）。

这个公式的目标是找到一个最优的3D仿射变换矩阵 ($ M_{Map3D}$ )，用于将输入图像（IF图像）与PAS染色图像进行配准。这里的 ( A ) 表示应用仿射变换的函数，( x i I F x_i^{IF} xiIF​ ) 是输入图像（IF图像）中的点，( x i P A S x_i^{PAS} xiPAS​ ) 是PAS染色图像中的对应点，( N ) 是点的总数。

• 目标：最小化输入图像经过仿射变换后与PAS图像之间的差异。
• 过程：通过迭代寻找使得所有对应点对之间的欧几里得距离之和最小的仿射变换矩阵 ( M )。
• 应用：用于初步的图像配准，以对齐大体结构。

---

在第一阶段的基础上，为了实现更精确的像素级对应，使用Autograd Image Registration Laboratory (AIRLab) 进行进一步的校准。

这个公式的目标是找到一个最优的仿射变换矩阵 ($ M_{AIRLab}$ )，它基于第一阶段得到的 ( M M a p 3 D M_{Map3D} MMap3D​ ) 进行优化。

• 目标：在第一阶段的基础上，进一步最小化输入图像经过仿射变换后与PAS图像之间的差异，以实现更精确的像素级对应。
• 过程：同样通过迭代寻找使得所有对应点对之间的欧几里得距离之和最小的仿射变换矩阵 ( A )，但这次是在 ( M_{Map3D} ) 的基础上进行。
• 应用：用于提高图像配准的精度，特别是在像素级别。

总结

这两个公式都是关于如何通过优化仿射变换矩阵来实现图像配准的问题。公式 (1) 用于初步的大体结构对齐，而公式 (2) 则在此基础上进一步优化，以实现更精细的像素级对齐。这种两阶段的优化方法有助于提高医学图像分析的准确性和可靠性。

---

补充说明

1. 索引和像素：

   • ( i ) 表示图像 ( I ) 中像素 ( x_i ) 的索引。
   • ( N ) 是图像中像素的总数。

2. 两阶段配准：

   • 配准过程分为两个阶段：Map3D 和 AIRLab。
   • 这两个阶段分别产生各自的仿射矩阵，用于图像配准。

3. 仿射矩阵对：

   • ( M ) 表示仿射矩阵对，由两个阶段的仿射矩阵组成：( $M = (M_{Map3D}, M_{AIRLab}) $)。
   • 这个矩阵对用于将两个不同模态的图像（如IF和PAS染色图像）对齐。

4. 仿射注册：

   • ( A ) 表示仿射注册操作，用于将仿射矩阵应用于图像，以实现图像间的配准。

5. 相似性度量：

   • ( $|.|{Aff{Map3D}} $) 和 ( $|.|{Aff{AIRLab}} $) 分别表示两个阶段仿射注册的相似性度量。
   • 这些度量用于评估配准过程中图像间对应点的匹配程度。

6. 公式 (3)：

   • ( M = ( M M a p 3 D , M A I R L a b ) M = (M_{Map3D}, M_{AIRLab}) M=(MMap3D​,MAIRLab​) ) 明确了两阶段配准方法中使用的仿射矩阵对。

---

2-2：分子信息引导的标注

在将分子图像与PAS图像对齐之后，部署了自动多类功能单元分割流程Omni-Seg [7]，以在图像上定位肾小球毛细胞区。

利用毛细胞区掩膜，分子图像在分子信息引导的标注过程中，在病理图像上显示不同颜色信号的异质细胞。每个解剖图像获得每种细胞类型的二值掩膜，形式为部分标签。

遵循相同的过程，病理学家检查解剖图像和分子图像，以生成本研究的金标准（图1）。

---

2-3：针对部分标签分割的分子导向纠正性学习

由于缺乏分子专业知识以及分子图像中染色质量的变化，非专家提供的标注可能不可靠且容易出错。因此，作者提出了一种纠正性学习策略（如图3所示），以高效地训练带有噪声标签的模型，从而实现与使用金标准标注训练相同模型相媲美的性能。

受信心学习[21]和相似性注意力[18]的启发，在预测概率（W，定义为方程（4）中的信心分数）较高的标注区域，选择top-k像素特征嵌入作为当前细胞类型从解码器（方程（5））中的关键表征。

图片中的内容涉及到一种基于置信度学习和相似性注意力的图像处理方法，特别是在细胞类型识别和图像分割的上下文中。以下是对图片中五个公式的详细分析：

公式 (4)

( W = f ( X ; θ ) [ : , 1 ] )   ( W = f(X; \theta)[:, 1] )\ (W=f(X;θ)[:,1]) 

• 含义：这个公式表示从解码器的最后一层输出中提取预测概率 ( W )，其中 ($ f(X; \theta) $) 是解码器的函数，( X ) 是输入特征，( θ \theta θ ) 是模型参数，([:, 1]) 表示选择第二列（通常代表预测概率）。
• 应用：用于从解码器输出中提取预测概率，以确定哪些像素的预测置信度最高。

公式 (5)

t o p − k ( k , E , W , Y ) = ( e 1 , w 1 ) , ( e 2 , w 2 ) , . . . , ( e k , w k ) ∩ Y = ( E , W ) top-k(k, E, W, Y) = (e_1, w_1), (e_2, w_2), ..., (e_k, w_k) \cap Y = (E, W) top−k(k,E,W,Y)=(e1​,w1​),(e2​,w2​),...,(ek​,wk​)∩Y=(E,W)

• 含义：这个公式实现了一个选择过程，从解码器的嵌入特征 ( E ) 中选择与预测概率 ( W ) 最高的 ( k ) 个特征嵌入，并且这些特征嵌入与业余标注 ( Y ) 相交。
• 应用：用于选择最相关的特征嵌入，这些嵌入在当前细胞类型的解码器表示中具有最高的置信度。

公式 (6)

S ( e i , e t o p − k ) = ∑ m = 1 M ( e i × e t o p − k ) ∑ m = 1 M ( e i ) 2 × ∑ m = 1 M ( e t o p − k ) 2 S(e_i, e_{top-k}) = \frac{\sum_{m=1}^{M}(e_i \times e_{top-k})}{\sqrt{\sum_{m=1}^{M}(e_i)^2} \times \sqrt{\sum_{m=1}^{M}(e_{top-k})^2}} S(ei​,etop−k​)=∑m=1M​(ei​)2 ​×∑m=1M​(etop−k​)2 ​∑m=1M​(ei​×etop−k​)​

• 含义：这个公式计算了任意像素的嵌入 ( $e_i $) 与选定的关键嵌入特征 ( e t o p − k e_{top-k} etop−k​ ) 之间的余弦相似度 ( S )。
• 应用：用于衡量特征嵌入之间的相似性，帮助识别图像中相似的细胞类型。

公式 (7)

ω ( W ) = exp ⁡ ( W ) × Y , ω ( S ) = S × Y \omega(W) = \exp(W) \times Y, \omega(S) = S \times Y ω(W)=exp(W)×Y,ω(S)=S×Y

• 含义：这个公式定义了两个权重函数 $ \omega(W)$ 和 $\omega(S) $，它们分别基于预测概率 ( W ) 和相似度分数 ( S )，并且都与业余标注 ( Y ) 相乘。
• 应用：这些权重用于强调模型和业余标注在当前细胞类型上达成一致的区域，从而在计算损失函数时给予这些区域更多的关注。

公式 (8)

L ( Y , f ( X ; θ ) ) = ( L D i c e ( Y , f ( X ; θ ) ) ) + ( L B C E ( Y , f ( X ; θ ) ) ) × ω ( W ) × ω ( S ) \mathcal{L}(Y, f(X; \theta)) = (\mathcal{L}_{Dice}(Y, f(X; \theta))) + (\mathcal{L}_{BCE}(Y, f(X; \theta))) \times \omega(W) \times \omega(S) L(Y,f(X;θ))=(LDice​(Y,f(X;θ)))+(LBCE​(Y,f(X;θ)))×ω(W)×ω(S)

• 含义：这个公式定义了最终的损失函数 ( L \mathcal{L} L )，它结合了Dice损失和二元交叉熵损失（BCE），并乘以权重 ( ω ( W ) \omega(W) ω(W) ) 和 ( ω ( S ) \omega(S) ω(S))。
• 应用：这个损失函数用于训练过程中，以优化模型参数，使得模型在那些模型和业余标注一致的区域上表现更好。

总结来说，这些公式共同构成了一个基于置信度和相似性注意力的图像分割框架，通过强调模型和业余标注一致的区域来提高分割的准确性。

---

三、数据与实验

3-1：数据

收集了11张PAS染色全玻片图像（WSIs），包括3张受损的肾小球切片，并与配对的免疫荧光（IF）图像一起用于实验过程。

染色的组织在20倍放大倍数下扫描。经过多模态多尺度配准后，生成了1,147个足细胞补丁和789个系膜细胞补丁，并进行了注释。每个补丁的大小为512×512像素。

形态-分子多模态配准

在5倍放大倍数下部署了Map3D的切片级全局平移，每个像素为2 µm。在20倍放大倍数下，将4096×4096像素的PAS图像区域与1024像素的重叠部分拼接在解剖学WSIs上，每个像素为0.5 µm。

分子赋能注释

自动的肾小球丛分割和分子知识图像协助非专业注释者识别肾小球和细胞。在整个注释过程中使用了ImageJ（版本v1.53t）。“同步窗口”用于显示跨模态的空间相关性光标进行注释。“ROI管理器”用于存储每种细胞类型的细胞二值掩模。

分子导向的纠正性学习

补丁在WSI级别上随机分为训练集、验证集和测试集，比例分别为6:1:3。在分割中平衡了受损肾小球和正常肾小球的分布。

---

3-2：实验设置

实验中包括了2名经验丰富的病理学家和3名没有专业知识背景的非专业注释者。

所有解剖学和分子补丁的肾小球结构均在工作站上提取，该工作站配备了12核Intel Xeon W-2265处理器和NVIDIA RTX A6000 GPU。

使用配备XP-PEN Artist 15.6 Pro Wacom的8核AMD Ryzen 7 5800X处理器工作站绘制每个细胞的轮廓。在1张WSI上注释1种细胞类型需要9小时，而染色和扫描24张IF WSI（作为一批）需要3小时。

为了确保公平比较，2名专家和3名非专业注释者的实验设置保持严格相同。

---

3-3：评估指标

测试集中捕获了100个补丁，其中受损和正常肾小球的数目平衡，用于评估基于形态的注释和分子引导的注释。

一位具有20年以上经验的病理学家的注释（同时使用解剖学和分子图像）作为金标准（图1）。

本研究的主要评价指标是平衡F分数（F1）。使用Fleiss’ kappa计算专家和非专业注释者之间的评分者间变异性。

---

四、结果

4-1：使用不同策略进行病理图像分割的标注准确性比较

图中分为三个主要部分：金标准（Gold standard）、形态学基础标注（Morphology-based annotation）、以及分子信息辅助标注（Molecular-informed annotation）。每一部分都展示了在不同细胞类型（足细胞和间皮细胞）和不同病理状态（受损和正常）下的标注结果。

金标准（Gold standard）

• 描述：由经验丰富的肾脏病理学家提供的标注，作为比较其他方法的基准。
• 图像：展示了PAS染色和IF染色下的足细胞和间皮细胞的图像。
• 标注：黑色区域表示标注的细胞。

形态学基础标注（Morphology-based annotation）

• 描述：仅使用形态学信息（如细胞形状和结构）进行的标注，由非专家（业余标注者）完成。
• 图像：展示了与金标准相同的PAS和IF图像。
• 标注：黑色区域表示标注的细胞。
• 错误：红色（False Positive, FP）表示错误标注的细胞，蓝色（False Negative, FN）表示未被标注的细胞。

分子信息辅助标注（Molecular-informed annotation）

• 描述：结合了分子信息（如IF图像中的特定标记）进行的标注，同样由非专家完成。
• 图像：同样展示了PAS和IF图像。
• 标注：黑色区域表示标注的细胞。
• 错误：与形态学基础标注相同，红色表示FP，蓝色表示FN。

这张图通过直观的比较，展示了分子信息辅助标注在提高非专家标注者性能方面的潜力。通过结合分子标记，业余标注者能够更准确地识别和标注细胞，从而在一定程度上接近专家的标注质量。这种方法有助于降低对专家标注的依赖，提高病理图像分割的效率和可扩展性。

---

4-2：两种不同的病理图像分割方法在标注准确性上的表现

表1展示了仅基于解剖形态学的标注（Morphology-based annotation）和分子信息辅助的标注（Molecular-informed annotation）。

方法（Method）

1. 形态学基础标注（Morphology-based annotation）：由两位病理学家使用PAS染色图像进行标注。
2. 分子信息辅助标注（Molecular-informed annotation）：由三位业余标注者使用PAS和IF（免疫荧光）图像进行标注。

分割任务

分割任务包括：

• 受损肾小球（Injured glomeruli）
• 正常肾小球（Normal glomeruli）
• 足细胞（Podocyte）
• 间皮细胞（Mesangial）

Fleiss’ kappa

Fleiss’ kappa是一种统计量，用于衡量多个标注者之间的一致性。值越高，表示一致性越好。

结论

• 分子信息辅助标注在所有任务上都显示出更高的F1分数和Fleiss’ kappa值，表明这种方法能够提高标注的准确性和一致性。
• 使用分子信息（如IF图像）可以显著提高业余标注者的性能，使其接近甚至超过专业病理学家的标注质量。
• 这种方法有助于降低对专业病理学家标注的依赖，提高病理图像分割的效率和可扩展性。

这张表格为研究者提供了不同标注方法在病理图像分割任务上的比较，有助于选择合适的方法进行特定的研究或应用。

---

4-3：多类细胞分割性能

在表2中，作者将提出的部分标签分割方法与基线模型进行了比较，包括

（1）多个单独模型（U-Nets [24]，DeepLabv3s [4]，和Residual U-Nets [26]）

（2）多头模型（Multi-class [10]，Multi-Kidney [3]）

（3）带有噪声标签学习的单一动态网络（Omni-Seg [7]）

作者的结果显示，部分标签范式在多类细胞分割上表现出优越的性能。提出的模型尤其在含有大量细胞的正常肾小球中显示出更好的量化效果。

为了评估分子导向纠正学习在非完美非专业注释上的性能，作者还实施了两种噪声标签学习策略：置信学习（CL）[21]和部分标签损失（PLL）[18]，并与作者提出的部分标签模型上的分子导向纠正学习（MOCL）相结合。

结果发现，提出的分子导向纠正学习在学习阶段减轻了非专业注释与金标准之间的误差，特别是在由于形态变化导致识别困难而注释中包含更多错误的受损肾小球中。

---

4-4：消融研究

纠正学习的目的是减轻噪声并提炼正确信息，以提高使用非专业注释的模型性能。

表3中评估了四种不同利用相似性损失和置信度损失的纠正学习设计——评估了不同分子导向的纠正学习（corrective learning）设计对多类别细胞分割任务性能的影响。

表格中的数据包括足细胞（Podocyte）和间皮细胞（Mesangial）的F1分数，以及平均F1分数。

列

1. Confidence score: 表示用于模型预测的置信度评分方法。
2. Similarity score: 表示用于衡量特征嵌入之间相似度的评分方法。
3. Podocyte F1: 足细胞的F1分数，衡量模型在足细胞分割任务上的性能。
4. Mesangial F1: 间皮细胞的F1分数，衡量模型在间皮细胞分割任务上的性能。
5. Average F1: 平均F1分数，是足细胞和间皮细胞F1分数的平均值。

行

表格中有四行数据，分别对应不同的置信度评分和相似度评分组合：

1. Linear - Linear: 置信度和相似度评分都使用线性方法。

   • Podocyte F1: 0.7255
   • Mesangial F1: 0.6843
   • Average F1: 0.7049

2. Linear - Exponent: 置信度评分使用线性方法，相似度评分使用指数方法。

   • Podocyte F1: 0.7300
   • Mesangial F1: 0.6987
   • Average F1: 0.7144

3. Exponent - Linear: 置信度评分使用指数方法，相似度评分使用线性方法。

   • Podocyte F1: 0.7411
   • Mesangial F1: 0.7028
   • Average F1: 0.7219

4. Exponent - Exponent: 置信度和相似度评分都使用指数方法。

   • Podocyte F1: 0.7304
   • Mesangial F1: 0.6911
   • Average F1: 0.7108

---

知识星球

大量医学AI相关的资料等您挑选，期待您的加入！

标签：分子,F1,配准,图像,细胞,病理切片,年资,标注
From： https://blog.csdn.net/qq_45404805/article/details/143849560