本篇文章继续解决上一篇Comfyui加载大模型的注释文件,选择模型后参数设置不再迷茫中篇尾提到的问题,即怎么解决参考图背景太复杂,怎么去掉参考图的背景呢,下面的工作流就可以
仔细观察今天这个图生图工作流,发现和上一篇的工作流整体区别不大,只是添加了四个新节点,这四个节点整体提供的功能就是对参考图进行预处理,去背景,然后在将去背景后的图输送给AI大脑(采样器),最终生成的图就是在去背景的基础上进行了AI创造。
下面挨个认识一下这四个节点
1.语义分割模型加载器
看名称,这是加载一个语义分割模型文件
2.gdino模型加载器
gdino是一个图像生成框架,配合语义分割模型一块使用
3.gdinoSam语义分割核心节点,输入值分别是语义分割模型,gdino框架,以及参考图
在这个节点的提示词中输入我们想要的元素,比如我只想要我参考图中的这个龙,其他的都不要,那就输入一个dragon就行
4.图像预览节点
将语义分割后的图像数据传入图像预览节点,就能看到工作流经过了语义分割模块后将参考图变成了什么样子
经过语义分割节点后,我们将IMAGE连接到VAE编码节点上,其他的就和上篇文章的基础图生图工作流一模一样了。
下面继续看下这个语义分割节点怎么安装
1.进入语义分割插件界面,下载插件代码包
2.和安装其他插件一样,放入Comfyui的 custom_nodes目录
3.按照插件的说明,将语义分割所需的模型放入对应的目录
下载好,按照要求放置就行
4.回到Comfyui工作流操作界面,刷新后,添加语义分别节点就可以了
最后对比看一下,我们经过语义分割后生成了不受参考图背景影响的新图
以上我们就学会了语义分割,学会了处理参考图,生成干净背景的新图,通过我们也发现,生成的图背景只能是黑色,即使正向提示词中强调white blackground也不起作用,怎么能更改背景颜色呢?或者更改好的添加场景上去?比如一个站在火山口上喷火的龙,下篇见
标签:生图,分割,参考,Comfyui,模型,语义,背景,中图,节点 From: https://blog.csdn.net/zkf60579/article/details/140280582