影像组学领域的60个无监督配准模型和24个公开数据集汇总｜个人观点·24-11-18

小罗碎碎念

这一期推文源于一篇未正式发表的综述，这篇综述总结了超过250篇关于基于学习的医学图像配准的文章。

这些文章都是近五年发表的，并且大都来源于医学成像领域的知名期刊，如《Medical Image Analysis》、《IEEE Transactions on Medical Imaging》等。

我在原作者的基础上汇总了两个表格，分别包含了60个无监督模型和24个可用于影像组学图像配准的公开数据集。

表格内容以及论文原文我会上传至知识星球，不过为了不影响非星球用户的阅读，仓库链接提供如下，大家按需获取。

一、引言

医学图像配准涉及估计最佳空间变换，以对齐一对固定图像和移动图像中的感兴趣结构。

空间变换的选择取决于具体应用，可分为刚体/仿射变换或非刚体/可变形变换。在刚体/仿射配准中，所有空间坐标都使用相同的刚体/仿射矩阵进行变换。而非刚体/可变形配准则为空间坐标的各个局部区域采用独立的变换。这两种配准对于许多医学成像任务都极为重要。

当可假设为刚体时，通常使用刚体配准。例如，用于将结构扫描（如磁共振成像或计算机断层扫描）与同一患者的功能扫描（如功能性磁共振成像或正电子发射断层扫描）对齐，以进行衰减校正或解释功能活动。

另一方面，在需要更复杂、空间变化变形的情况下，通常使用可变形图像配准（DIR）。此类应用实例包括构建患者队列的可变形模板，或将图谱与患者图像配准以进行多图谱分割。

传统的图像配准通过迭代解决优化问题来实现，例如demons算法、LDDMM、SyN、DARTEL和Elastix等方法。这些方法得到了强大的数学理论支持，但存在明显的局限性。

首先，它们计算密集且速度慢，因为需要对每一对移动和固定图像解决一个独特的优化问题，导致优化过程中的冗余。其次，与变换参数（如位移场或控制点）相关的目标函数通常表现出非线性，造成非凸优化难题。

为解决此问题，已尝试简化问题，例如通过线性化目标函数、凸化优化或采用离散化配准技术。然而，这些方法往往增加了计算成本，并可能导致问题不够现实，考虑到图像配准固有的非凸性质。

在过去的十年中，基于深度学习的方法在提高图像配准的准确性和效率方面显示出前景。

与传统方法不同，基于深度学习的方法通过在训练数据集上优化全局目标函数来训练通用网络。在测试阶段，训练好的网络直接应用于每个图像对，网络权重固定，无需进一步优化。

基于深度学习的方法具有三重优势：

1. 首先，训练数据集中的多样性起到了隐式正则化的作用，通过平均化可能导致次优局部极小值的噪声或误导性梯度，有效地平滑了损失景观。
2. 其次，非凸问题的优化高度依赖于初始起点。使用预训练权重（即迁移学习）并结合先进的优化算法，增强了深度学习方法寻找全局极小值的能力。
3. 最后，在推理过程中通过单次前向传递处理图像对，避免了迭代优化，与传统基于优化的方法相比，速度上有显著优势。

最初，图像配准网络架构大多是编码器基础的，要么作为特征提取器以替代基于优化的配准方法中的手工特征（Wu等，2013），要么作为回归器从局部图像块估计变换参数（Miao等，2016）。

然而，随着U-Net（Ronneberger等，2015）在医学成像中的成功，基于学习的可变形配准方法开始在一个监督学习框架内整合编码器-解码器架构（Yang等，2017；Rohé等，2017；Sokooti等，2017；Uzunova等，2017），通常需要真实变形场进行直接监督。同时，空间变换网络（Jaderberg等，2015）的出现预示着向无监督和端到端学习的转变，采用编码器-解码器框架进行可变形配准，这已成为当前主流方法（Vos等，2017；Li和Fan，2018；Balakrishnan等，2019；Kim等，2021；Chen等，2022c）。

另一方面，基于学习的刚体/仿射配准方法继续采用仅编码器网络（Miao等，2016；Hu等，2018；De Vos等，2019；Chen等，2021e，2022c；Mok和Chung，2022a），输出为刚体或仿射参数。在监督学习的背景下，这些深度学习方法的真实标签通常是刚体/仿射配准任务的变换矩阵，而对于可变形配准任务则使用密集位移场。

二、医学图像配准相关论文的发表趋势

左侧柱状图：发文趋势

• 显示了从2014年到2023年每年发表的文章数量。
• 可以看出，文章数量在2014年到2018年之间相对较低，每年大约在10到20篇之间。
• 从2019年开始，文章数量显著增加，2020年和2021年达到高峰，接近60篇。
• 2022年略有下降，但仍保持在较高水平，而2023年又有所回升。

右侧饼状图：论文来源

• 展示了调查文章的来源分布，显示了这些文章主要来自与医学图像分析领域相关的不同会议和期刊。
• MICCAI（医学图像计算和计算机辅助干预会议）占据了最大的份额，为25.1%。
• 其次是CVPR（计算机视觉和模式识别会议），占11.7%。
• Med. Image Anal.（医学图像分析期刊）占10.6%。
• IEEE TMI（IEEE Transactions on Medical Imaging）占7.5%。
• 其他较小份额的来源包括NeurIPS、ECCV、IEEE ISBI、SPIE Medical Imaging、MIDL、WBIR、Med. Phys.、arXiv、NeuroImage等，每个的占比在2.0%到3.9%之间。
• 还有一部分文章来自其他未列出的来源，占18.1%。

三、学习基础的图像配准

1. 监督学习下的可变形配准

（Deformable Registration）

• 输入：移动图像（Moving Image）和固定图像（Fixed Image）。
• 网络结构：包含跳跃连接（Skip Connections），这有助于在网络中保留更多的特征信息。
• 输出：通过损失函数（Loss Function）计算得到的变形（Deformation）。
• 目标：最小化预测变形与真实变形（Ground Truth Deformation）之间的差异。

2. 监督学习下的刚性/仿射配准

（Rigid/Affine Registration）

• 输入：同样是移动图像和固定图像。
• 网络结构：输出刚性/仿射参数（Rigid/Affine Parameters）。
• 输出：通过损失函数计算得到的参数。
• 目标：最小化预测参数与真实刚性/仿射参数（Ground Truth Rigid/Affine Parameters）之间的差异。

3. 无监督学习下的可变形配准

（Unsupervised Deformable Registration）

• 输入：移动图像和固定图像。
• 网络结构：同样包含跳跃连接，但这里网络学习的是空间变换（Spatial Transform），而不是直接的变形。
• 输出：变形后的移动图像（Deformed Moving Image）。
• 目标：通过损失函数优化网络，使得变形后的移动图像与固定图像尽可能匹配。

4. 无监督学习下的刚性/仿射配准

（Unsupervised Rigid/Affine Registration）

• 输入：移动图像和固定图像。
• 网络结构：输出刚性/仿射参数。
• 输出：通过空间变换模块（Spatial Transform）应用这些参数到移动图像上，得到变换后的移动图像（Transformed Moving Image）。
• 目标：通过损失函数优化网络，使得变换后的移动图像与固定图像尽可能匹配。

总结

• 监督学习：需要真实的变形或参数作为训练数据，网络通过比较预测结果和真实值来学习。
• 无监督学习：不需要真实的变形或参数，网络通过输入图像之间的相似性来学习配准。
• 可变形配准：允许图像之间的非线性变换，适用于更复杂的图像配准任务。
• 刚性/仿射配准：只允许图像之间的线性变换，适用于图像之间变换较为简单的情况。

这张图清晰地展示了不同学习方法在图像配准任务中的应用，以及它们如何处理不同类型的图像变换。

四、无监督可变形图像的配准模型总结

这一部分总共有60种模型，完整版表格请移步知识星球。

PS：加入星球方式——扫描推文开头或末尾的二维码加入，也可以在公众号后台回复知识星球加入。

模态分析

1. CT (Computed Tomography) - 7项：有7条记录使用了计算机断层扫描技术。
2. Endoscopy - 1项：有1条记录使用了内窥镜成像技术。
3. MRI (Magnetic Resonance Imaging) - 37项：有37条记录使用了磁共振成像技术，这是列表中记录最多的模态。
4. MRI / CT - 10项：有10条记录同时使用了MRI和CT两种成像技术。
5. MRI / Transrectal Ultrasound - 1项：有1条记录结合了MRI和经直肠超声技术。
6. Photographs / MRI - 2项：有2条记录结合了普通照片和MRI技术。
7. Photographs / MRI / CT - 1项：有1条记录结合了普通照片、MRI和CT三种技术。
8. US / MRI (Ultrasound / Magnetic Resonance Imaging) - 1项：表示数据库中有1条记录结合了超声和MRI技术。

大家获取excel表格以后，可以根据成像模态来筛选记录，这对于医学研究和数据分析非常有用。例如，如果一个研究者只对MRI数据感兴趣，他们可以只选择与MRI相关的记录。同样，如果他们想要比较不同成像模态的数据，他们可以选择多个模态进行筛选。

五、可用于医学图像配准的公开基准数据集

医学图像配准是一种技术，它涉及将不同时间点或不同成像设备获得的医学图像对齐，以便于比较和分析。

这种技术在医学诊断、疾病监测和治疗规划中非常重要。公开基准数据集指的是那些可以被研究者自由获取和使用的数据集，它们通常包含了一系列的图像和配准结果，用于评估和比较不同的配准算法。