首页 > 其他分享 >医学图像领域--Transformer入门路线推荐

医学图像领域--Transformer入门路线推荐

时间:2023-08-01 17:02:17浏览次数:43  
标签:Transformer 架构 入门 -- 分割 理论 实践 UNETR


本文跟那些长篇大论教你入门的文章大大不同!!

医学图像领域--Transformer入门路线推荐_理论基础


你读了这些文章,对于小白来讲,原理既难又枯燥,读了等于没读,一样不会用。

这里没有枯燥的理论,没有看不懂的术语,因为这些我也不懂!

我能提供的,就是一个入门路线!

Tina姐妙招:先实践,尝到甜头再回过头来看理论

因此,本文分为两个部分,先给大家一些实践案例,跑通之后,再学习我给的理论课程。

实践

本实践教程只需要你有深度学习基础,了解 MOANI 和 pytorch。

  1. 使用 Tansformer 分割三维腹部多器官–UNETR架构

    网络架构如图所示,不关注中间细节,跟传统的 encoder-decoder(如 UNET)很相似。模型的输入输出跟原来一样,训练方式跟原来一样。

可以简单理解为:只是model换了。不关注model细节,直接盘它。

【使用Tansformer分割三维腹部多器官–UNETR实战】

  1. 使用 nnFormer 在三个数据集上进行分割:ACDC数据集,Synapse 多器官 CT 数据集, Brain_tumor数据集

这个方法封装的很好,可以先试着跑通,再去研究模型结构。亲测能复现,但是要改一些bug,具体实践参考下面的文章。

【实战】霸榜各大医学分割挑战赛的Transformer架构–nnFormer

  1. 使用 Swin Transformers 做CT腹部器官分割。

    这是monai0.9版本新更新的架构,展示了使用这种最先进模型的多器官分割示例,使用对来自公开数据集的 5050 次 CT 扫描的 Swin UNETR 编码器(3D Swin Transformer)的自我监督

实现细节在 MOANI swin UNETR

这是医学领域三个经典的架构,如果还不够,可以查看一下综述论文,里面列举了很多不同方向的论文和算法。

4.GitHub上经典总结仓库

awesome-transformers-in-medical-imaging

医学图像领域--Transformer入门路线推荐_transformer_02

Awesome_Transformer_for_medical_image_analysis

医学图像领域--Transformer入门路线推荐_人工智能_03

这两个仓库里面列举了 Survey papers,Medical Image Segmentation,Classification,Reconstruction, Registration,Synthesis, Detection,Clinical Report Generation,and Others

理论

上述实验虽然没有 transformer 基础也可以跑,但是做科研,还是要掌握一些理论基础,才知道如何调参。

理论的讲解我推荐一个课程

医学图像领域--Transformer入门路线推荐_人工智能_04


这个课程我也才学到第三节,已经可以让我看懂transformer代码了,这种培训课的老师不会太过专业化,会用一些让人人都能听懂的比喻来辅助理解。最重要的是,理论完了之后,会手把手带你将理论转成代码。

比如,多头注意力机制,听起来很高大上,什么 q, k, v。但实际就是一个相同维度的向量,互相之间的有一些加减乘除的关系。用代码实现很简单。 再比如 MLP,实际就是几个全连接。 再比如patch emdding,把一个图像切成几个patch, 用一个卷积层就可以做到。

学之后的感悟就是,也不过如此。

医学图像领域--Transformer入门路线推荐_深度学习_05

课程直接百度:飞桨 AI studio 从零开始学视觉Transformer

文章持续更新,可以关注微信公众号【医学图像人工智能实战营】获取最新动态,一个关注于医学图像处理领域前沿科技的公众号。坚持已实践为主,手把手带你做项目,打比赛,写论文。凡原创文章皆提供理论讲解,实验代码,实验数据。只有实践才能成长的更快,关注我们,一起学习进步~

我是Tina, 我们下篇博客见~

白天工作晚上写文,呕心沥血

觉得写的不错的话最后,求点赞,评论,收藏。或者一键三连

医学图像领域--Transformer入门路线推荐_数据集_06


标签:Transformer,架构,入门,--,分割,理论,实践,UNETR
From: https://blog.51cto.com/u_16159492/6924556

相关文章

  • 学习Java的第11天
    运算符算数运算符:+,-,*,/,%,++,--赋值运算符:=关系运算符:>,<,>=,<=,==,!=instanceof逻辑运算符:&&,||,!位运算符:&,|,^,~,>>,<<,>>>(了解!!!)条件运算符?:扩展赋值运算符:+=,-=,*=,/=packageoperator;publicclassDemo03{publicstaticv......
  • Android SDK离线安装方法详解(加速安装)
    AndroidSDK在国内下载一直很慢··有时候通宵都下不了一点点,最后只有选择离线安装,现在发出离线安装地址和方法,希望对大家有帮助一,首先下载SDK的安装包,android-sdk_r10-windows.zip(安装工具)解压到目录,如我的目录D:\programs\android-sdk-windows下载地址:http://dl.google.com/andro......
  • python如何制作自己的模块
    你可以按照以下步骤制作自己的Python模块:1.创建一个新的.py文件,并定义你自己的函数或类。2.编写文档字符串docstring,说明该函数或类的作用、参数和返回值说明等。3.给你的函数或类添加恰当的注释。4.将该.py文件放在工程目录的一个新文件夹中,这个文件夹就是你的模块。5.在你......
  • Essential diagnostic tools: cat caterpillar et diagnostic tool
    Essentialdiagnostictools:catcaterpillaretdiagnostictoolIntoday'sfast-pacedworld,theimportanceofefficientandaccuratediagnostictoolscannotbeoverstated.Whetheryouareamechanic,technician,orautomobileenthusiast,havingaccess......
  • python如何制作自己的模块
    你可以按照以下步骤制作自己的Python模块:1.创建一个新的.py文件,并定义你自己的函数或类。2.编写文档字符串docstring,说明该函数或类的作用、参数和返回值说明等。3.给你的函数或类添加恰当的注释。4.将该.py文件放在工程目录的一个新文件夹中,这个文件夹就是你的模块。5.在你......
  • vuex和Pinia使用上的区别-Vue3推荐上Pinia
    Vuex和Pinia都是Vue.js状态管理库,可以管理组件之间的共享状态。它们的区别在于实现方式和API设计。Vuex是Vue.js的官方状态管理库,采用集中式的方式管理全局的状态。在Vuex中,应用程序的状态存储在一个单一的store中,组件只能通过dispatch、commit等方法来修改store中的状态。Vuex还提......
  • 小米平板6将推14英寸版!与MIX Fold 3同步推出
    今天,知名数码博主数码闲聊站爆料消息,称小米平板6将推出一款Max版本,预计与小米MIXFold3同步推出。据介绍,小米平板6Max将是小米首款14英寸大屏的旗舰平板,平板搭载骁龙8+处理器,在性能释放、影音表现、软件适配等方面都会有大幅提升。不过,新平板的后摄Deco将保持不变,除了尺寸变大......
  • PHP+JSP+MYSQL+APACHE+RESIN虚拟主机配置
     在LINUX平台下全部配置完毕并完全整和通过测试成功需要软件如下resin:http://www.caucho.com/jdk:http://java.sun.com/apache:http://www.apache.orgmysql:http://www.mysql.comphp:http://www.php.netjdbc:http://mmmysql.sourceforge.net/本人所用的软件版本如......
  • 【Python小随笔】Pillow简单示例(图片添字,图片覆盖图片,复杂验证码...)
     简单创建添加文字到图片fromPILimportImage,ImageDraw,ImageFont,ImageFilter#导入PIL库中的相关模块importrandom#导入random库#简单的添加文字"""mode:图片模式,指定了每个像素点的颜色组织方式。常用的模式有:'1':二值图像,每个像素点只有黑和白两种颜......
  • AI医学影像三大技术实战、优劣、经验及发展
    这是AI掘志的第二个讲座,美女CEO简介如下:授课目录:1.医疗影像AI的发展状况以及我们可以怎么做2.医疗影像应用的深度学习解决方案3.分类网络在医疗影像中的应用及拓展4图像切割在医疗影像中的应用及拓展-----------------------------------------------------------------------......