作者，Evil Genius
我们来了解一下关于HE图片细胞分割的一些算法，以备后续的使用
我们在做Xenium或者其他ISS技术的数据时候，通常都要获得一个polygons文件，直译过来就是多边形文件，其实就是我们进行的图像细胞分割文件。
其实ISS技术由来已久，不过现在由于10X xenium的发布，对于空间原位的细胞分割就显得尤为重要，再加上10X 将Xenium的通量提高到了5000+，精准的细胞分割就显得更加重要了。
我们首先来看第一个，stardist。
这个方法在最新发布在cell的文章Cellular architecture of evolving neuroinflammatory lesions and multiple sclerosis pathology(cell)所引用。方法发布在Medical Image Computing and Computer Assisted Intervention – MICCAI 2018。
MICCAI是由国际医学图像计算和计算机辅助干预协会(Medical Image Computing and Computer Assisted Intervention Society) 举办，跨医学影像计算(MIC)和计算机辅助介入 (CAI) 两个领域的综合性学术会议，是该领域的顶级会议
StarDist 是一个基于深度学习的开源库，专注于识别和定位图像中的星形细胞或其他具有类似特征的结构。
StarDist的核心是一个经过训练的神经网络模型，它能够高效地识别出图像中那些形似星星的结构。在生物医学领域，这样的形状经常出现在细胞或组织切片中，例如神经元、细胞核等。通过自动检测这些结构，StarDist极大地加速了图像分析过程，减少了人工标注的工作量。
技术分析
StarDist采用了U-Net架构，这是一种广泛应用于图像分割任务的卷积神经网络。其特点在于保持了输入与输出同样大小，并利用跳跃连接以保留低级别特征信息，这对于精确分割小尺度细节至关重要。此外，该模型还引入了一种新颖的损失函数——星形距离（star-convex polytope loss），用于更好地匹配和识别星形结构。
在训练过程中，可以提供带有标签的图像，模型将学习如何识别目标结构并生成对应的掩模。一旦训练完成，这个模型就能用于新的图像，自动检测并定位星形结构。
应用场景
- 生物医学图像分析：在显微镜图像中自动检测神经元、细胞核等，加快科学研究进程。
- 医疗诊断辅助：帮助医生在大量病理切片中快速找到关键结构，提高诊断效率和准确性。
- 工业检测：在制造业中识别特定的星形结构，如电路板上的元件，实现自动化质量控制。
特点与优势
- 精度高：利用深度学习和定制化损失函数，StarDist能在复杂背景下准确识别星形结构。
- 易用性：提供Python接口，简单几步即可训练自定义模型，无需深入理解深度学习底层。
- 可扩展性：除了星形结构，通过调整和训练，模型也可适用于其他形态相似的检测任务。
- 社区支持：活跃的开发团队和开源社区，不断更新改进，提供问题解答和技术支持。
接下来了解第二个，cellpose
Cellpose 是一款基于深度学习算法的细胞分割的开源软件，已发表两篇论文，都发表在 Nature Methods 上，即 Cellpose 1.0 和 2.0 版本。目前已经更新到了3.0版本，目前发表在biorxiv上。
基于显微镜图像的单细胞分析是目前生命科学领域的前沿和热点问题。细胞分割能对成像图片进行批量处理，将其形态、位置、RNA 表达和蛋白质表达等信息赋予识别出的每个细胞。比如：
对于多光子钙成像分析，需要识别出单个神经元，才能提取每个神经元的钙荧光信号，进行下游的处理和分析；
对于空间转录组分析，也需要分割细胞，将 RNA 的表达量赋予单个细胞；
对于医学诊断而言，通过细胞的大小、形态、位置以及计数来诊断病变
该款软件使用 Python 语言编写，凭借其良好的细胞分割效果、不错的运行速度、易于使用的界面、支持与其他软件联动等特性，获得了广泛的使用和认可，可谓是细胞分割领域的"ChatGPT"。
cellpose基于CNN（卷积神经网络）和U-Net的结构，可以对单个细胞或聚集细胞的图像进行高质量的分割和分类。Cellpose适用于不同类型的细胞图像，例如荧光显微镜图像、H&E染色的组织切片图像和显微镜图像。它还可以通过交互式模式和批量处理模式进行数据分析。Cellpose的优点包括易于使用、可扩展性、高分割准确性和快速速度。
看第三个，QuPath
QuPath是一个免费且开源的软件项目，专为生物医学图像分析而设计，尤其是针对显微镜下的组织病理学图像。它结合了先进的算法和直观的用户界面，旨在帮助研究人员和科学家进行精确、高效的数据分析。文章在QuPath: The global impact of an open source digital pathology system - ScienceDirect
作为深度学习神经网络的训练工具
QuPath为高级人工智能的训练、提供和应用提供了一个框架，超越了内置的机器学习方法。该框架可以包括任何内容，从通过病理学家注释或补丁提取来训练更高级的深度学习神经网络，到最终在QuPath之外获取的数据上训练的深度学习模型的可视化。
第四个，SCS
来自卡内基梅隆大学的研究团队开发了一种名为SCS的新方法，利用深度学习和图像处理技术，从高分辨率空间转录组图像中分割出单个细胞，并为每个细胞分配一个唯一的标识符。SCS不仅可以提高细胞分割的准确性和效率，而且可以为后续的空间转录组数据挖掘和生物学发现提供有价值的信息。该文章于2023年7月在Nature Methods发表。
SCS主要分为以下三步：
① 首先通过分割染色图像来识别细胞核（图2a红色）内的spot。
②接下来在这些点和一些背景点上训练transformer，以预测从每个点到其所属细胞中心的梯度方向，以及它是细胞一部分或细胞外基质的一部分的概率。Transformer针对每个输入点预测16个预定义方向从该点到其细胞中心的概率以及该点是细胞一部分的概率。对于每个点，Transformer通过基于点表达式 (x) 和相对位置 (s) 自适应学习权重，聚合来自其 50 个最近相邻点的信息。
③ 然后将transformer应用于所有其他点。用梯度流跟踪算法根据梯度预测对点进行分组来分割细胞。
SCS分割框架
SCS在高分辨率空间转录组学中结合图像与数据，采用Transformer模型和梯度流追踪算法，实现准确的细胞分割。
当然了，除了这些方法，还有很多其他方法，包括CellBin、DeepCell、CellSeg3D、CellSNAP、SwinCell、UNSEG等等等等。