目前的SSL方法一般采用判别方法和重构方法(discriminative methods and reconstruction methods),典型的判别方法包括旋转[3]、魔方[20]和对比学习[14](rotating [3], RubikCube [20] and contrastive learning),其实还是主要从自然图像中得到的想法。重建方法,比如Genesis [19] and PCRL,目前重建方法在医学图像上的性能要普遍优于判别方法。
当前的SSL普遍都忽视了groundTrue的信息,为了对边界加以利用,此论文提出了一种特殊的超体素,这种超体素覆盖了基本上全部的groundtruth的边界特征,然后为了进一步的实现对不同结构的捕捉,论文提出了一种图像配准作为自监督代理任务,与超体素不同,图像配准过程中匹配组织和器官的对齐必然涉及语义感知边界信息
为了实现上面的边界增强,论文提出了一种双分支结构,引入了一个共享编码器和独立解码器的两分支网络,第一个是超体素分支,另一种是图像配准分支,超体素分支生成超体素来实现超分割,图像配准分支将输入体变成图谱,两个分支被迫共享相同的编码器,试图让编码器捕获图像的边界和布局信息。在测试时,考虑到超体素分支与分割的关系更密切,采用其解码器进行进一步微调。
图2给出了BE-SSL的总体框架,由两个分支组成,超体素分支和图像配准分支,具有一个共享的encoderE。超体素分支使用编码器E和解码器Dsv,学习将输入体分割成超体素。注册分支使用编码器E和解码器Dreg学习将输入卷注册到选定的图集。
标签:编码器,配准,超体素,SSL,图像,分支 From: https://www.cnblogs.com/guanyifan/p/17402735.html