使用 Monai Bundle 和 Model Zoo 对医学影像数据进行分类-全脑133个结构分割

使用 Monai Bundle 和 Model Zoo 对医学影像数据进行分类-全脑133个结构分割

文章目录

• 导读
• Monai Bundle 和 Model Zoo简单介绍
• 基于monai bundle的MRI全脑分割

• 模型简介
• 模型描述
• 模型训练细节
• 训练数据
• 注意事项
• 电脑配置
• 完整的133个脑结构列表
• 在3D slicer使用全脑结构分割模型
• 完整的133个脑结构列表

导读

本系列涵盖从 3D Slicer 医学图像查看器的基础使用到高级自动分割扩展程序的内容（从入门到高阶！），具体包括软件安装、基础使用教程，自动分割扩展（totalsegmentator, monai label）快速标注数据。

在本系列第三部分中，我们在工作站上安装了 MONAILabel 服务端和 MONAILabel 3D Slicer 客户端。在第四部分内容中，我们从一个简单的腹部CT脾脏分割案例开始，介绍了monai label使用的一些基础用法。在第五部分中，使用radiology app进行全脊柱的分割，并且详细介绍了radiology app所有用法。

本节重点：在这一节中，我们将尝试使用monai bundle 和model zoo里面的分割模型来分割其他结构。

该系列之前的内容如下：
【添加链接】

如果你没看过系列之前的内容，以下是monai label一个简单的介绍

[ MONAI Label 是一个服务器-客户端系统，它利用 AI 促进交互式医学图像注释。它是一个开源且易于安装的生态系统，可以在具有单个或多个 GPU 的机器上本地运行。服务器和客户端都在同一台/不同的机器上工作。它与MONAI共享相同的原理。

MONAI Label 减少了注释新数据集的时间和精力，并通过不断从用户交互和数据中学习，使 AI 能够适应手头的任务。MONAI Label 允许研究人员和开发人员以用户的方式与他们的应用程序交互，从而不断改进他们的应用程序。最终用户（临床医生、技术人员和一般注释者）受益于 AI 的不断学习，并更好地理解最终用户试图注释的内容。]

Monai Bundle 和 Model Zoo简单介绍

MONAI Model Zoo 提供了一系列由社区开发的医学影像模型，采用 Monai Bundle 格式。Monai Bundle 允许您轻松获取任何来自 MONAI Model Zoo 的模型并将其导入 MONAILabel。

Model Zoo提供的模型包括MRI脑肿瘤分割，CT肺结节检测，病理细胞核分割分类，CT胰腺分割，MRI前列腺分割，CT肾脏分割，CT脾脏分割，MRI脑切片生成等20几个模型。后面会用单独的篇幅分别介绍这些预训练模型的使用。

MONAI Bundle 是一种基于规范和文件结构的方式，用于分发经过训练的 MONAI 模型以及相关元数据、代码、文档和其他资源。这些旨在让您更轻松地以某种格式分发模型，该格式说明了模型的用途、如何使用它、如何重现您用它完成的科学研究，并将其用于 Label 和 Deploy 等其他应用程序。详细的使用教程可以去monai bundle github

接下来我们将用很多案例来演示monai bunlde在3D slicer中的用法

基于monai bundle的MRI全脑分割

模型简介

• 名称：Wholebrainseg large unest segmentation
• 概述：基于3D transformer的全脑分割模型，适用于T1W MRI图像
• 作者：范德堡大学 + MONAI团队
• 参考文献：Xin 等人. 使用3D块聚合变换器表征肾脏结构. arXiv 预印本 arXiv:2203.02430 (2022). https://arxiv.org/pdf/2203.02430.pdf
• 版本：0.2.3

模型描述

详细的全脑分割是一种重要的定量技术，在医学影像分析中提供了一种非侵入性的方法来测量临床获取的结构性磁共振成像（MRI）中的脑部区域。我们提供了一个预训练模型，用于训练和推理具有133个结构的全脑分割。提供的训练管道支持在 MONAI Label 中的主动学习和使用 bundle 进行训练

模型训练细节

一个预训练的 UNEST base model，用于 T1w MR 图像的体积（3D）全脑分割。为了利用嵌入序列中的信息，提出了“shifted window” transformers，用于密集预测和建模多尺度特征。然而，这些旨在复杂化 self-attention 范围的尝试往往会导致高计算复杂度和数据低效。受 nested ViT 中的 aggregation function 启发，我们提出了一种新的设计，即具有 Nested Transformers (UNesT) 的 3D U-shape 医学分割模型，通过 3D block aggregation function 层次化地学习小结构或小数据集的 locality behaviors。该设计保留了原始的 global self-attention mechanism，并通过层次化堆叠 transformer encoders 实现跨 patches 的信息通信。

训练数据

训练数据来自范德堡大学和范德堡大学医疗中心，并使用了公开发布的 OASIS 和 CANDI 数据集。训练和测试数据是来自三个不同站点的 MRI T1w图像。

任务涉及 133 类全脑分割。在 OASIS 数据集中，50 个 T1w MRI 扫描中，45 个用于训练，5 个用于验证。测试队列包括 Colin27 T1w 扫描和 CANDI 数据集的 13 个 T1w MRI 扫描。所有数据均注册到 MNI 空间，并按特定方法进行预处理，输入图像随机裁剪至 96 × 96 × 96 尺寸。

注意事项

请将你的数据配准到相同空间，训练用的脑部 MRI 图像通过 NiftyReg 工具进行仿射配准，以将目标图像注册到 MNI305 模板。在推理前，数据应处于 MNI305 空间。如果图像已经在 MNI 空间，则可以跳过配准步骤。可以使用任何配准工具将图像注册到 MNI 空间，以下是一个使用 ANTs 的示例建议。

pip install antspyx

#Sample ANTS registration

import ants
import sys
import os

fixed_image = ants.image_read('<fixed_image_path>')
moving_image = ants.image_read('<moving_image_path>')
transform = ants.registration(fixed_image,moving_image,'Affine')

reg3t = ants.apply_transforms(fixed_image,moving_image,transform['fwdtransforms'][0])
ants.image_write(reg3t,output_image_path)

电脑配置

The training and inference was performed with at least one 24GB-memory GPU.

完整的133个脑结构列表

由于列表较长，我放在文末了

在3D slicer使用全脑结构分割模型

• step1: 激活环境

conda activate monailabel

• step2: 下载monaibundle app

monailabel apps --name monaibundle --download --output apps

可以前往图片上地址查看下载了什么

• step3: 下载实验数据

我直接在3D slicer 里面下载的示例数据，保存在了datasets/mrihead文件夹。

其他的T1w 数据也可以，最好是配准到了标准空间，和训练数据一致，准确度会更高。

• step4: 启动服务端

服务端启动，使用的模型为：wholeBrainSeg_Large_UNEST_segmentation，注意大小写

monailabel start_server --app apps/monaibundle --studies datasets/mrihead --conf models wholeBrainSeg_Large_UNEST_segmentation

如图，第一次启动的时候会去下载预训练模型。

• step5: 打开3D slicer,连接服务端

第四步启动好后，打开3D slicer，点击monailabel模块，点击绿色刷新符号就可以连接上服务端了。我们从下图可以看到使用的app和model。点击next sample加载数据，再点击run就可以自动分割了。

我在mac上分割花了20分钟左右，建议在GPU上运行可以加速。由于我的数据和训练数据差异太大，分割效果一般

不过，对于脖子部分，可以在segment editor模块中，拿把剪刀剪了。

事实证明，这个预训练模型的泛化性能不是很好
。不过有这个需求的同学可以试试。

其余的保存步骤，训练过程等操作可以查看之前的脾脏分割教程，有详细的介绍。

Tina姐：monai bundle也可以命令行调用，本次只演示了在 3D Slicer中的应用

完整的133个脑结构列表

可以关注微公【医学图像人工智能实战营】

我是Tina, 我们下篇博客见~

白天工作晚上写文，呕心沥血

觉得写的不错的话最后，求点赞，评论，收藏。或者一键三连