制作了一个思维脑图，下面的MakeDown格式的，脑图会截图发在下面，也可以找我要源文件。
医学图像分割综述
参考论文
Medical Image Segmentation Using Deep Learning: A Survey
Submitted on 28 Sep 2020 (v1), last revised 22 Dec 2021 (this version, v3)]
对基于深度学习的医学图像分割进行全面综述。
论文摘要
两个原创性贡献：
将目前流行的文献按照从粗到细的多层次结构进行分类
重点研究了监督学习和弱监督学习方法（无监督用的少）
总结“In this paper, we review the advances of deep learning techniques on medical image segmentation.”
监督学习方法在医学图像分割中的应用
（对于医学图像分割任务，监督学习是最流行的方法因为精度要求高）
骨干网的选择
Image semantic segmentation aims to achieve pixel classification of an image. For this goal, researchers proposed the encoder-decoder structure that is one of the most popular end-to-end architectures,
U-Net
医学图像通常含有噪声且边界模糊，缺乏图像细节信息，仅靠图像语义特征无法获得准确的边界
U-Net通过跳跃连接，将低分辨率和高分辨率的特征图结合起来，有效地融合了低分辨率和高分辨率的图像特征
3D Net
医学数据都是以三维数据的形式存在的
三维卷积核可以更好地挖掘数据的高维空间相关性
3D U-Net仅包含3次下采样，不能有效提取深层图像特征，导致医学图像分割精度有限
-
与3D-UNet相比，V-Net利用残差连接设计更深层次的网络(4次下采样)，从而获得更高的性能。
residual connections
-
Lee et al. [37]proposed 3DRUNet
-
Xiao et al. [38]proposed Res-UNet.
RNN 循环神经网络
RNN被用对图像序列的时间依赖性进行建模
-
Alom等人提出了一种结合ResUNet和RNN的医学图像分割方法。该方法实现了递归残差卷积层的特征积累，改善了图像分割任务中的特征表示
-
Gao等人结合LSTM和CNN对不同脑MRI切片之间的时间关系进行建模，以提高分割精度。Bai等结合FCN和RNN挖掘主动脉序列分割的时空信息
得出： RNN可以通过考虑上下文信息关系来捕获图像的局部和全局空间特征。
- 然而，在医学图像分割中，完整有效的时间信息的获取需要良好的医学图像质量(例如,更小的切片厚度和像素间距)。因此，RNN的设计对于提高医学图像分割的性能是不多见的。
Skip Connection
跳跃连接可以融合低分辨率和高分辨率信息，从而改善特征表示
-
但存在低分辨率和高分辨率特征之间语义鸿沟较大的问题，导致特征映射模糊
- 改进跳跃连接：Ibtehaz等人提出了包含残差路径(ResPath)的MultiResUNet，它使编码器特征在与解码器中相应特征融合之前执行一些额外的卷积操作。
Cascade 2D and 3D
训练两个或多个模型来提高分割精度， 该方法在医学图像分割中尤其流行
-
粗-细分割
-
使用两个2D网络的级联进行分割，其中第一个网络进行粗分割，然后使用另一个网络模型在之前的粗分割结果的基础上实现细分割
- Yuan等人首先训练了一个简单的卷积-反卷积神经网络(CDNN)模型(19层FCN)，对一个CT体积的整个图像提供快速但粗糙的肝脏分割，然后将另一个CDNN(29层FCN)应用于肝脏区域，用于细粒度肝脏分割。
-
-
检测分割
-
使用R - CNN [ 51 ]或You - On - Look - Once ( YOLO ) [ 52 ]等网络模型进行目标位置识别，然后使用另一个网络在先前粗分割结果的基础上进行进一步的细分割。
- Tang等[ 47 ]使用更快的R - CNN [ 54 ]和Deeplab [ 55 ]级联对肝脏进行定位分割。
-
-
混合分割
-
伪三维方法虽然能够从三维数据中分割出目标，但由于只利用了局部时间信息而导致精度提升有限。
-
二维卷积神经网络无法学习三维的时间信息，三维卷积神经网络往往计算成本高，GPU内存消耗严重
- Vu等将相邻切片的叠加作为输入用于中心切片预测，然后将得到的2D特征图输入到标准2D网络中进行模型训练
-
-
相比于伪3D网络，2D和3D级联网络要更好
- Li等人提出了一种混合密集连接U-Net(H-DenseUNet)用于肝脏和肝脏肿瘤的分割
-
该方法首先利用简单的ResNet获得粗略的肝脏分割结果，利用二维DenseUNet有效提取二维图像特征，然后利用三维DenseUNet提取三维图像特征，最后设计一种混合特征融合层，对二维和三维特征进行联合优化。
* Zhang等人提出一种和H-DenseUNet结构相似的轻量级混合卷积网络（LW-HCN），但它使用了3D深度可分离卷积，因此所需的参数和计算成本要更少 。
使用了3D深度可分离卷积，因此所需的参数和计算成本要更少 。
网络块的设计
Dense Connection
用于构造一种特殊的卷积神经网络。每一层的输入来自前面所有层的输出
-
Guan等提出了一种改进的U-Net，用密集连接的形式来代替U-Net的每个子块（获得丰富图像特征，降低鲁棒性，增加参数量）
Unet++
-
Zhou等将所有的U-Net层(从一层到四层)连接在一起, 优点是，它允许网络自动学习不同层次特征的重要性
-
同样参数量大，剪枝技术a pruning method 可以加入
-
Inception
Inception不增加网络深度的情况下并行地合并卷积核
-
Gu等通过将Inception引入医学图像分割，提出了CE-Net
-
Inception通常比较复杂，导致模型修改困难。
-
Depth Separate
为了提高网络模型的泛化能力，减少对内存的使用需求，轻量级网络模型
- Lei等提出了一种比V-Net更加轻量的LV-Net用于肝脏分割
Attention
将深度学习与视觉注意机制相结合的研究大多集中在利用掩码形成注意机制上
-
掩码的原理是设计一个新的层，通过训练和学习，可以从图像中识别关键特征，然后让网络只关注图像的感兴趣区域。
-
局部空间注意力（Local Spatial Attention）
-
Oktay等提出了attention U-Net。改进的U-Net在融合编码器和相应解码器的特征之前，利用注意力块改变编码器的输出。
-
-
通道注意力（Channel Attention）
-
通道注意块利用学习到的全局信息，选择性地强调有用的特征，抑制无用的特征，实现特征的再校准。
-
Hu等提出了一种基于通道注意力的SE-Net
-
-
混合注意力（Mixture Attention）
- Wang等比较了通道注意、空间注意以及两种注意的不同组合在医学图像分割中的表现。，他们的结论是，以通道为中心的注意力是提高图像分割性能最有效的方法
-
非局部注意力（Non-local Attention）
-
非局部U-Net在上采样和下采样过程中采用自注意机制和全局聚合块提取完整的图像信息，提高了最终分割的精度。（非局部注意力等价于自注意力（Self-Attention））
-
-
Multiscale
医学图像分割的难点之一是目标尺度的大范围变化。
-
金字塔池化（Pyramid Pooling）
- 多尺度池化的并行操作可以有效地改善网络的上下文信息，从而提取更丰富的语义信息。
He等提出的SPP将图像分为粗糙空间和精细空间，然后对图像进行局部特征采集，提取多尺度特征。受SPP的启发，一个多尺度信息提取块被设计并并命名为残差多核池化(RMP)，它使用四个不同大小的池化核来编码全局上下文信息。然而，RMP中的上采样操作不能恢复细节信息的丢失，因为池化通常扩大了感受野，但降低了图像分辨率。
-
空洞空间金字塔池化（Atrous Spatial Pyramid Pooling）
-
为了减少池化操作造成的细节信息丢失，研究人员提出了用空洞卷积代替池化操作。
-
与传统卷积相比，空洞卷积在不增加参数数量的情况下能有效扩大感受野。
-
-
-
非局部和ASPP（Non-local and ASPP）
* ASPP使用不同尺度的多个并行空洞卷积来捕获更丰富的信息，而非局部操作捕获广泛的依赖关系。该组合具有ASPP和非局部的优点，在医学图像分割中具有良好的应用前景。
损失函数的改进
Cross Entropy Loss（交叉熵）
分割任务中常用
-
该函数将预测的分类向量与实际的分割结果向量进行像素级的比较。
-
二分类
- p为样本的真实标记，p冒为模型的预测概率
-
WCE Loss（加权交叉熵损失）
因交叉熵损失在小目标分割中往往表现出较低的性能。
交叉熵损失对图像的每个像素都进行同等处理，从而输出一个平均值，忽略了类的不平衡，例如包含大量像素的类对损失函数的影响较大而只包含少量像素的类对损失函数的影响很小。
-
Long等人提出了加权交叉熵损失(WCE)来抵消类不平衡，在二值分割的情况下，将加权交叉熵损失定义。。。。。
- Ronneberger等人提出了通过添加距离函数改进交叉熵损失函数的U-Net，改进后的损失函数可以提升类间距离的学习能力
Dice Loss
Dice是一种常用的医学图像分割评价指标。这个度量本质上是对分割结果和相应的ground-truth之间重叠的度量。
- Dice Loss很容易影响反向传播，导致训练困难。此外，由于梯度值置信度较低，Dice Loss对于平均表面距离或Hausdorff表面距离等不同模型的鲁棒性都很低。
Tversky Loss
Salehi等人提出了Tversky损失(TL)，它是Dice损失的正则化版本，以控制假阳性和假阴性对损失函数的影响。
*
Boundary Loss
为了解决类别不平衡的问题，Kervadec等提出了一种新的用于脑损伤分割的Boundary Loss。
-
这个损失函数的目的是最小化分割的边界和标记的边界之间的距离。实验表明Dice Loss和Boundary Loss的组合优于单一的Dice Loss，
-
这部分具体损失构造比较复杂，但非常有意思且实用性高
* https://proceedings.mlr.press/v102/kervadec19a.html -
Generalized Dice Loss
Exponential Logarithmic Loss
弱监督学习方法在医学图像分割中的应用
数据增强
迁移学习
交互式分割
医学图像分割的数据集和评估指标
数据集
Liver
LiTS
(https://competitions.codalab.org/competitions/17094)
Sliver07
http://www.sliver07.org
3Dircadb
https://www.ircad.fr/research/3dircadb/
Medical Segmentation Decathlon (MSD)
http://medicaldecathlon.com/index.html
CHAOS
https://chaos.grand-challenge.org
未来潜在的研究方向
网络结构设计的创新
近年经典模型
长短跳跃连接的编解码U形网络的基本框架
残差网络(ResNet)和稠密网络(DenseNet)分别证明了网络深度加深的影响和残差结构的有效性对梯度传播的影响。
-
在深度网络中跳跃连接可以促进梯度传播，从而减少梯度分散的风险
-
跳跃连接的优化将允许模型提取更丰富的特性
网络模块的设计
近年来，空间金字塔模块在语义分割领域得到了广泛的应用
较少参数的空洞卷积允许更大的接受野，特征金字塔允许获得不同尺度的特征
空间通道注意模块的开发使得神经网络特征提取过程更具针对性
针对任务的特征提取网络模块的设计也很值得研究
图卷积
图结构更高效，具有较强的语义特征编码能力，对医疗数据有很大的应用价值。
- 图卷积作为一种处理非欧几里得数据的卷积方法