前言
如果你看过别人的工作流,很有可能会发现每个人用的都不一样,如果不搞清楚其中的根本思想,总会有种不踏实的感觉,好像会用了,又好像不会。本文就来介绍一下 ComfyUI 中的局部重绘的三种基础方法。
局部重绘的三种思想
首先介绍一下局部重绘的三种方法:分别是 VAE 内补编码器、 设置 Latent 噪波遮罩、 使用 ControlNet 。
首先说明,这三种方法,没有优劣之分,它们有着各自的使用场景,用哪种要根据自己的需求来选择。
下面通过实际例子来讲解:
先看原图:
VAE 内补编码器
这里,我们把女孩的牛仔短裤,重绘成红色的短裙,按照惯例,都是先加载默认工作流,然后在其基础上进行修改,有了前面的基础,这里我们就直接上工作流看效果:
这里关键是使用了一个 VAE 内补编码器节点,加载一张图片,手动绘制遮罩, 然后将原图像和遮罩都与VAE内补编码器
连接起来,操作方法,前面的文章讲过,这里就不再赘述了,如果你是刚入门学习 ComfyUI,建议按顺序看。VAE 如果没有特殊需求,可以直接由大模型输出。最后再把输出的 Latent 连接到 K 采样器的输入。 正面提示词,要填写我们希望绘制的效果。
看到生成的结果,就是把原图中遮罩部分进行了重绘,即把牛仔短裤重绘成了红色的短裙。
VAE 内补编码器中
中的遮罩延展,可以理解为 PS 中的羽化, 大家可以自己试一下, 羽化为 0 ,重绘部分的边缘很生硬,无法和原图融为一体,设置太大了也不好,一般保持默认的 6 即可。
原理:
VAE 内补编码器,需要将原图和蒙版一起传入,这种重绘方式的原理是蒙版区域为空白潜空间,生成的图像跟之前蒙版的内容没有任何关系,只是参考了原图的风格,它适合做一些比较大的调整,重绘一个完全不相干的东西。
多尝试几次,甚至会发现,该方法重绘可能会绘制一些奇怪的画面,要像达到比较好的效果,有抽卡的成分,所以在使用这种局部重绘时,最好是用在不是微调的场景。
注意:不建议降低降噪值,原因:数值越低,越接近原图,而蒙版区域又是空白潜空间,就没了参考了。会出现没有绘制的效果。
Latent 噪波遮罩局部重绘
在不想大调整,只想局部微调的时候,使用 Latent 噪波遮罩的方法就非常适合,这种重绘方式的原理是蒙版区域参考原蒙版的内容,重绘区域还参考了原图,能更好地理解需要重新生成的内容。
我们给女孩重绘会上一个眼镜,先看工作流:
这里设置噪波幅度是有用的,当设置的太小,就会保持跟原图差不多。具体设置多少,还是需要根据效果不断调整。
ControlNet 局部重绘
ControlNet 重绘,可以理解为使用更加“专业”的方式(但不一定更加适合需求)提取原图的某种特征,对绘制进行更精准的控制。,前面有一篇文章专门讲了 ControlNet,根据 ControlNet 不同的模型,可以提取图像的轮廓图、深度图、人物姿态等各种特征。
给出传送门:ComfyUI 基础教程(三) —— 应用 Controlnet 精准控制图像生成 https://www.cnblogs.com/joy99/p/18402051
总结
最后总结一下:
关于局部重绘,三种方式的特点:
- VAE 内补编码器,自由度高,适合大面积的局部替换,缺点是需要抽卡。
- 设置 Latent 噪波遮罩,和原图完美融合,适合局部微调,生成相似的内容。
- ControlNet,适合精准控制图像绘制,把握整体构图。