图像分割与GPU利用率

参考文献链接

https://mp.weixin.qq.com/s/rdTGk-K_0K81mDrdvtdz4Q

https://mp.weixin.qq.com/s/Vdh15tkqn4nlaf63m9dMXA

TMI-2022 | 标签高效式的细胞核图像分割

深圳市大数据研究院提出了一种标签高效式地细胞核图像分割方法 (Which Pixel to Annotate: a Label-Efficient Nuclei Segmentation Framework)，被医学图像分析顶级期刊IEEE Transactions on Medical Imaging接收。
该方法包括三个部分：一个基于一致性的样本选择算法、基于单个样本对的有条件生成器、一个半监督图像分割网络模型。该方法仅使用不到5% 的标注的情况下，在多个病理图像数据集上达到了接近全监督方法的细胞核分割性能。

文章链接：https://arxiv.org/abs/2212.10305
代码链接：https://github.com/lhaof/NuSeg

问题背景介绍
细胞核分割任务，是指标记出病理图像中每一个属于细胞核的像素。细胞核分割的结果可以提供基本的细胞核视觉信息和形态学特征例如尺寸，形状或者颜色。这些信息和特征不仅有助于病理图像的进一步处理（例如分类或者组织分割），也有助于病理医生诊断分析病情的发展（例如癌症的诊断评估和预后）。
因此，细胞核分割在计算机辅助诊疗系统中是至关重要的一环。然而，病理图像复杂的背景，细胞核杂乱的分布都极大地增加了精确分割细胞核的难度。同时，训练一个精确分割细胞核的模型通常需要大量的有标注数据（细胞核的数量达到数万级别），这也显著地增加了病理医生标注的负担和时间经济成本。
为了解决现有技术需要大量标注数据的问题，本文提出了一种基于一致性的样本块选择算法。该算法挑选极少量的具有高代表性和内部纹理一致性的无标签样本块进行标注。为了解决现有技术在标注较少时分割性能较差的问题，本文提出了一种有条件输入的基于单对训练图片的对抗生成模型CSinGAN来对训练数据进行扩增。为了充分利用大量的无标签数据，本文通过和半监督方法-伪标签生成的结合来利用无标签数据。实验证明文提出的框架利用不到百分之五的标注，在三个公开数据集上达到了接近全监督方法的性能。

方法介绍

图1. 标签高效式的细胞核图像分割方法流程图

2.1 整体框架本文提出的标签高效式的细胞核图像分割框架的框架如图1所示。从左到右，首先进行无标签病理图像数据的采集。其次，通过本文提出的基于一致性的样本块选择算法，少量的小尺寸的病理图像样本块将会被选择并且由病理医生进行标注，标注之后的掩膜和选择的样本块将会组成样本对。
每一对样本对将会作为本文提出的有条件输入的基于单对训练图片的对抗生成模型的训练样本。经过对抗生成模型的训练，大量的训练样本对将会被模型生成并且加入分割训练集。最后，所有的标注的真实样本对加上模型生成的伪样本对将会输入基于伪标签的半监督细胞核分割模型进行训练，得到能够精准分割病理图像细胞核的模型。
图2. 基于一致性的样本块选择算法

2.2 基于一致性的样本块选择算法（CPS）为了定位最有益于细胞核分割任务的病理图像样本块区域，我们定义两种挑选参数。一种叫做代表性，另一种叫做内部一致性。代表性指的是被挑选样本块与整个数据集中的其他的样本块之间的关系。为了减轻对抗生成模型生成伪样本的复杂程度，我们还考虑选择内部一致性更高的样本块。内部一致性是指样本块内部各区域具有相似的纹理和细胞核形态。高内部一致性有助于减少对抗生成模型学习的难度，减少干扰，有助于模型的收敛，也能够更有效生成高质量的图片。
CPS算法可以分成三部分：1.小尺寸样本块采样；2.双层聚类；3.分数计算。在小尺寸样本块采样部分，我们从原始的病理图片数据集中利用滑动窗口均匀地采样样本块。在双层聚类部分，执行了两次K-means聚类。第一次聚类为粗聚类，将小尺寸样本块聚类成个聚类簇。为了计算内部一致性，每一个聚类簇中的小尺寸样本块又会被再裁切成四个更小的子区域进行第二次聚类得到个聚类簇，也叫作细聚类。经过两次聚类，最终可以得到个聚类簇。在分数计算部分，对每一个粗聚类得到的聚类簇，我们会计算该簇中所有的小尺寸样本块的代表性和内部一致性分数，最终选择一个分数最高的样本块。计算公式如图2的右半部分所示。基于一致性的样本选择算法最后会为粗聚类的每一类挑选一个样本块，最终得到个样本块。

图3. 有条件输入的基于单对训练图片的对抗生成模型

2.3 有条件输入的基于单对训练图片的对抗生成模型（CSinGAN）

在得到标注好的小尺寸样本块之后，本文提出了一个有条件输入的基于单对训练图片的对抗生成模型（CSinGAN）对每一对样本块分别进行数据增强。每个CSinGAN模型会使用一对标注好的样本块和本文内方法大量简单构建的伪掩膜。其结构如图3所示，该模型包含一个多尺度的生成器和一个多组件的判别器。生成器和判别器分别表示为和。多尺度有条件生成器可以表示为公式（1）:

（1）

其中，和表示真实的标注掩膜和本文构建的伪掩膜。当计算时，所有的()都是通过m改变的尺寸得到的。和表示三通道的高斯噪声图像。每个尺度的生成器和判别器都会计算一个重建损失和判别损失来优化模型，如公式（2）所示：

) （2）

其中，第二项为重建损失，为生成图像，则为真实图像。对于判别损失，本文设计了一种新型的多组件的判别器。该判别器将输入图像分离为前景，背景和原图三类图像分别进行判断。判别器包含三个子网络，分别对三类图像进行判别，彼此之间互不参数共享。整个判别过程可以用如下公式（3）表示：

（3）

其中，指第n个尺度下的伪掩膜，指真实掩膜。指按元素相乘操作，指的就是提取的背景区域和前景区域。这样不同的子网络就会关注于不同的生成区域的真实程度。这有助于生成和伪掩膜中细胞核位置精确对应的生成图像。

2.4 基于伪标签的半监督训练方法（Plabel）

在得到大量的生成的伪训练图片对之后，本文引入了基于伪标签的半监督训练方法来充分利用无标签数据。伪标签方法通常使用一个预训练的模型来对无标签数据进行预测。预测出来的结果可以和原始数据结合作为一种标签参与新一轮的训练来提升模型的性能。实验证明，本文可以结合其他的半监督方法或细胞核分割模型使用来提升性能。

实验结果
3.1与全监督方法的比较

表1. 本文框架和全监督方法比较

如表 1 所示，本文整体框架结合先前分割方法在使用不到5%标注的情况下，在TCGA-KUMAR数据集上和最强的全监督方法Hover-net仅差距0.2%分割指标AJI,在TNBC数据集上达到了超过Hover-net的效果。在MoNuSeg数据集上得到了略低于Hover-net约1.17% AJI的结果。这充分显示了本文在缺少标签的病理图片分割应用场景的优势，即极大了减少了标注成本。

3.2 各组件的效果

表2. 使用不同组件在TCGA-KUMAR数据集上的结果

如表2所示，CPS表示基于一致性的样本选择算法，MRCNN指的是分割模型Mask-RCNN，CSinGAN指的是有条件输入的基于单对训练图片的对抗生成模型，Plabel表示伪标签训练方法。从结果可以看出，CSinGAN方法使分割模型在TCGA-Kumar数据集上提升了1.34% AJI。本文提出的样本选择算法CPS相较随机采样方法提升了约2.83% AJI。加入基于伪标签的半监督训练方法之后，本文的分割性能可以进一步提升4.54% AJI。

3.3 CSinGAN方法对比同类生成方法

表3. CsinGAN比较其他样本生成方法。

如表3所示，在使用CPS挑选的样本进行样本生成，使用Mask-RCNN作为分隔模型的情况下。CSinGAN相较主流的样本生成方法cycleGAN有约1% AJI的提升。

总结
本文构建了一种全新的标签高效式的细胞核分割框架能够使用不到百分之五的标注达到或接近全监督方法的分割效果。其次，本文提出了一种基于一致性的样本选择算法，该算法挑选的样本能够使模型分割精度更高。此外，本文提出了一种新颖的组件式判别器，大大提高了生成对抗模型的图像生成质量。本文显示了样本选择的重要性，为使用少量标注训练医学影像模型提供了新的思考。

传奇程序员卡神出走Meta，曝老东家效率低下：GPU利用率5%简直是冒犯

传奇程序员“卡神”John Carmack，也要离开Meta了。

原因直白：嫌弃Meta效率太过低下。

看到5%的GPU利用率，真的有被冒犯到。

但这还不是所有。

从发展方向上的分歧，到建言一直不被认可，种种原因都成为了压在骆驼上的稻草。

最终导致这位Oculus核心人物、Meta顾问CTO，选择挥手老东家，专注于自己的创业公司。

随着他在Facebook上的一封公开信释出，个中缘由也一一浮出水面。

对Meta不满已久

在加入被Meta收购的Oculus之前，卡神已经在游戏圈闯出了名声。

他联合创办的ID Software公司可以说是3D游戏引擎这个领域的“老前辈”，创造的游戏引擎被用来制作《半衰期》（Half-life）等游戏。

他本人更是在第一人称射击游戏领域取得了不少成就，最著名的要属开发《德军总部3D》（Wolfenstein 3D）、《毁灭战士》（Doom）和《雷神之锤》（Quake）并开源游戏代码了。

值得一提的是，他本人还搞过一段时间火箭（但后来失败了），一度成为马斯克邀请加入SpaceX的对象。

卡神与VR结缘的契机在2012年。

这一年Oculus的产品Oculus Rift爆火，卡神的公司ID Software宣布发行《毁灭战士3 BFG版》，这款游戏对3D电视和头显进行了支持。

卡神本人也试玩了Oculus Rift，发表了自己的感受，并对它的分辨率和帧率提出了一些改进意见。

△图源The Verge

随后于2013年，卡神正式加入Oculus并担任CTO，并在Oculus的飞速上升期，见证了它被Meta（那时候还是Facebook）以20亿美元收购的全过程。

在他的领导下，2017年Oculus正式发布新一代产品Oculus Go，这也是Oculus的首款VR一体机，卡神还在它上面发布了Root权限。

此后在2019年，卡神又带领公司推出了Oculus Quest，首次将裸手交互引入VR头显中。

但在研究的过程中，卡神逐渐丧失了对VR的兴趣。

2019年11月，卡神突然辞去Oculus的CTO身份，转而成为这家子公司的“顾问CTO”（Consulting CTO），对此他给出的理由是：

希望能将更多时间放在通用人工智能（AGI）上。

如今来看，这个“AGI事业”大概就是他的新创业公司了。

回看过去的十年经历，卡神认为，在他的带领下Quest 2已经具备了不少“VR该有的特性”。

即便如此，他仍然选择“结束十年VR生涯”，从公开信和他之前的发言来看，主要有三方面原因：

其一，内部效率低下，公司人员组成占比不合理。

2019年卡神转型“顾问CTO”时，在Meta仍然从事一些VR项目，但都与优化硬件功耗、同时提升VR视觉效果有关。

然而即使是这一小部分工作，也无法让他取得成就感。他在公开信里表示：

作为一个专注系统优化的程序员，我非常关心效率问题。然而当你在努力优化系统时，你却能看到公司的效率是如此低下，这简直是个“伤及灵魂”的事情。

他打了个比方，如果公司整体效率在50%左右，里面甚至会有人洋洋得意自己“只付出了25%的效率”。

其二，不满小扎的一些决策，斥巨资打造元宇宙愿景。

没错，就是耗费几十亿美元去打造一些所谓的虚拟现实耳机和元宇宙软件。

对此他表示，无论是可移动硬件、全新的追踪能力、串流VR、接近4k的屏幕，还是在性价比上，Oculus的产品都已经做得很好，然而在软件上还是不行：

我已经厌倦了与Meta的斗争。

据纽约时报爆料，卡神曾经在Meta内部发帖，批评小扎和CTO Andrew Bosworth做过的各种决策。

其三，有着最高级别的话语权，但说话并不管用。

我抱怨的事情，在一两年后总会成为改变团队前进方向的因素。我也认为自己做的事情对公司是有利的，但它从来不会成为事情的主要推动力。

这不可否认也有我自己的原因。我本可以与领导人展开斗争，但我却以编程为借口逃避了这件事情。

当然，在离别前夕，他仍然给“老东家”留下了祝福：

VR仍然可以给更多人带来价值，也没有公司比Meta更适合做这个了。

△公开信全文

下一站：专注AGI创业

挥别Meta后，卡神的下一站，是自己的创业公司。

从2019年将更多精力放在AGI上以来，卡神观察三年，最终还是选择了这个创业方向。

今年8月，他正式创立通用人工智能公司Keen Technologies，拿到2000万美元融资。

投资人中有GitHub前CEO奈特·弗里德曼（Nat Friedman）、Shopify 联合创始人兼CEO托比亚斯·吕特克（Tobi Lütke），同时吸引了红杉资本注资。

有意思的是，卡神表示，自己对AGI的部分兴趣是在和OpenAI的联合创始人之一Sam Altman交谈中引起的，后者曾邀请他加入OpenAI，不过被他拒绝了。

对于AGI本身，他一直是个乐观主义者，曾表示人工智能的行为终有一天可以达到人类或生物水平。

最早从2019年开始，他就说过AGI会占用他一定的工作精力，而今年8月公司成立以来，他的重心更是开始进一步偏移——

公司刚成立不久，他就公开表示，Meta的工作只会占据他20%的精力。

如今看来，卡神连这20%的精力也不想给了（手动狗头）。

参考链接：
[1]https://twitter.com/ID_AA_Carmack/status/1603931904075395072
[2]https://www.facebook.com/permalink.php?story_fbid=pfbid0iPixEvPJQGzNa6t2x6HUL5TYqfmKGqSgfkBg6QaTyHF5frXQi7eLGxC7uPQv5U5jl&id=100006735798590
[3]https://techcrunch.com/2022/08/19/john-carmack-agi-keen-raises-20-million-from-sequoia-nat-friedman-and-others/
[4]https://www.theverge.com/2022/12/16/23513622/john-carmack-leaving-meta-virtual-reality-oculus-cto