U-KAN环境搭建&推理测试

​引子

U-Net的鼎鼎大名，我觉得无需我多言了。图像分割和扩散概率模型的基石。作者探索了KANs在改进视觉任务 Backbone 网络方面的未开发潜力。作者研究、修改并重新设计已建立的U-Net Pipeline ，通过在标记化的中间表示上整合专用的KAN层，称之为U-KAN。严格的医学图像分割基准测试验证了U-KAN在准确性甚至计算成本方面的优越性。这些努力揭示了有价值的见解，并照亮了前景：通过U-KAN，您可以构建强大的 Backbone 网络，用于医学图像的分割和生成。OK，让我们开始吧。

一、模型介绍

在过去的十年中，许多研究致力于开发高效且健壮的医学成像分割方法，这主要是由于计算机辅助诊断和图像引导手术系统的需求所推动。其中，U-Net [71]是一项里程碑式的工作，它最初证明了带跳跃连接的编码器-解码器卷积网络在医学图像分割中的有效性。近年来，UNet已成为几乎所有领先医学图像分割方法的基础，并在许多图像转换任务中显示出良好的效果。此外，最近的扩散模型也利用了U-Net，通过训练它迭代预测在每一步去噪中要移除的噪声。

所提出的U-KAN得益于KAN网络在非线性建模能力和可解释性方面的吸引人属性，使其在普遍的U-Net架构中显著区别于其他结构。在严格的医学分割基准上的实证评估，无论是定量还是定性，都强调了U-KAN的卓越性能，即使没有更少的计算成本，也超越了已建立的U-Net主干，提高了准确性。作者的研究进一步探讨了U-KAN作为扩散模型中U-Net噪声预测器的潜力，证实了其在生成面向任务的模型架构中的相关性。简而言之，U-KAN标志着将受数学理论启发的算子融入高效视觉 Pipeline 设计的一步，预示着它在广泛视觉应用中的前景。

作者的贡献可以总结如下：

1、作者首次尝试将新兴的KAN的优势融入到成熟的U-Net Pipeline 中，使其更准确、高效和可解释。

2、作者提出了一个标记化的KAN模块，有效地引导KAN操作符与现有的基于卷积的设计兼容。

3、作者在广泛的医学分割基准上实证验证了U-KAN，取得了令人印象深刻的准确性和效率。

4、将U-KAN应用于现有的扩散模型作为改进的噪声预测器，展示了其在支撑生成任务和更广泛的视觉设置中的潜力。

二、环境搭建

代码下载

git clone https://github.com/CUHK-AIM-Group/U-KAN.git

docker run -it -v /datas/work/zzq/:/workspace --gpus=all pytorch/pytorch:1.13.1-cuda11.6-cudnn8-runtime bash

cd /workspace/U-KAN/U-KAN-main/Seg_UKAN

pip install -r requirements.txt -i Simple Index

模型下载

分割模型

Redirecting

数据集下载

Busi数据集

https://www.kaggle.com/datasets/aryashah2k/breast-ultrasound-images-dataset?resource=download

按照下图生成目录格式

 三、推理测试

mkdirs output/busi_UKAN

cp models/*.pth output/busi_UKAN

python val.py --name busi_UKAN --output_dir output

报错如下：

pip uninstall numpy

pip install numpy == 1.26.0

pip install timm==0.4.12

 pip install medpy

继续报错

cp models/config.yml output/busi_UKAN/

修改config配置中的输入图片路径

分割结果可视化