首页 > 其他分享 >Comfyui中图生图工作流,这样去掉参考图的背景

Comfyui中图生图工作流,这样去掉参考图的背景

时间:2024-07-08 23:26:42浏览次数:20  
标签:生图 分割 参考 Comfyui 模型 语义 背景 中图 节点

本篇文章继续解决上一篇Comfyui加载大模型的注释文件,选择模型后参数设置不再迷茫中篇尾提到的问题,即怎么解决参考图背景太复杂,怎么去掉参考图的背景呢,下面的工作流就可以

仔细观察今天这个图生图工作流,发现和上一篇的工作流整体区别不大,只是添加了四个新节点,这四个节点整体提供的功能就是对参考图进行预处理,去背景,然后在将去背景后的图输送给AI大脑(采样器),最终生成的图就是在去背景的基础上进行了AI创造。

下面挨个认识一下这四个节点

1.语义分割模型加载器

看名称,这是加载一个语义分割模型文件 

2.gdino模型加载器

gdino是一个图像生成框架,配合语义分割模型一块使用 

3.gdinoSam语义分割核心节点,输入值分别是语义分割模型,gdino框架,以及参考图

在这个节点的提示词中输入我们想要的元素,比如我只想要我参考图中的这个龙,其他的都不要,那就输入一个dragon就行 

4.图像预览节点

将语义分割后的图像数据传入图像预览节点,就能看到工作流经过了语义分割模块后将参考图变成了什么样子 

经过语义分割节点后,我们将IMAGE连接到VAE编码节点上,其他的就和上篇文章的基础图生图工作流一模一样了。

下面继续看下这个语义分割节点怎么安装

1.进入语义分割插件界面,下载插件代码包

2.和安装其他插件一样,放入Comfyui的 custom_nodes目录

3.按照插件的说明,将语义分割所需的模型放入对应的目录

下载好,按照要求放置就行

 

4.回到Comfyui工作流操作界面,刷新后,添加语义分别节点就可以了

最后对比看一下,我们经过语义分割后生成了不受参考图背景影响的新图

以上我们就学会了语义分割,学会了处理参考图,生成干净背景的新图,通过我们也发现,生成的图背景只能是黑色,即使正向提示词中强调white blackground也不起作用,怎么能更改背景颜色呢?或者更改好的添加场景上去?比如一个站在火山口上喷火的龙,下篇见

标签:生图,分割,参考,Comfyui,模型,语义,背景,中图,节点
From: https://blog.csdn.net/zkf60579/article/details/140280582

相关文章

  • Comfyui加载大模型的注释文件,选择模型后参数设置不再迷茫
    上一篇Comfyui基础图生图工作流只需8个节点中末尾提到了两个问题,这一篇先解决第一个问题,就是我们下载了很多大模型,选择大模型时,记不住这个大模型的推荐参数怎么办?解决方法就是使用一个自定义的大模型加载节点替换原本的基础大模型加载节点观察下面这个基于上一篇基础图生图优......
  • ComfyUI进阶篇:ComfyUI核心节点(四)
    ComfyUI核心节点(四)前言:学习ComfyUI是一场持久战。当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对ComfyUI的核心节点进行系统梳理,并详细解释每个参数。希望大......
  • SD之图生图和局部重绘
    图生图顾名思义,就是用一张原图生成一张ai画的图,可以加参数等等。比如:我有这样一张原图,我可以通过SD生成一张二次元效果的图片。然后我想在第一张图片给人物换成短发的小姐姐,如下:通过局部重绘,给人物加个耳环:然后再给人物换个校服:总体说来,SD真的是很强大的,希望大家......
  • Stable Diffusion 图生图之局部重绘
    StableDiffusion图生图(局部重绘):局部重绘:·在图生图界面中关于局部重绘有三个标签页.·这三个标签页主要是蒙版的使用方式不同.局部重绘标签.图片可以通过上传,或者是从文生图发送到局部重绘.右边是局部重绘的画笔工具.·局部重绘中,画布和画笔大小有快......
  • AI绘画Stable Diffusion【图生图教程】:图片高清修复的三种方案详解,你一定能用上!(附资料
    大家好,我是画画的小强今天给大家分享一下用AI绘画StableDiffusion进行高清修复(Hi-ResFix),这是用于提升图像分辨率和细节的技术。在生成图像时,初始的低分辨率图像会通过放大算法和细节增强技术被转换为高分辨率版本。这种方法能够显著提高图像的清晰度和视觉效果,特别适用......
  • ComfyUI进阶篇:ComfyUI核心节点(三)
    ComfyUI核心节点(三)前言:学习ComfyUI是一场持久战。当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对ComfyUI的核心节点进行系统梳理,并详细解释每个参数。希望大家......
  • ComfyUI预处理器ControlNet简单介绍与使用(附件工作流)
    简介ControlNet是一个很强的插件,提供了很多种图片的控制方式,有的可以控制画面的结构,有的可以控制人物的姿势,还有的可以控制图片的画风,这对于提高AI绘画的质量特别有用。接下来就演示几种热门常用的控制方式1.OpenPose(姿态控制预处理器)姿态控制预处理器可以根据提供的图......
  • comfyui的官网内容摘要
    ComfyUI:功能强大且模块化的StableDiffusionGUI和后端ComfyUI是一款功能强大且模块化的StableDiffusion图形界面和后端,它使用基于图形/节点/流程图的界面来设计和执行高级StableDiffusion流程。以下是ComfyUI的主要特点和信息:主要功能:图形/节点/流程图界面:无需......
  • ComfyUI进阶篇:ComfyUI核心节点(二)
    ComfyUI核心节点(二)前言:学习ComfyUI是一场持久战。当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对ComfyUI的核心节点进行系统梳理,并详细解释每个参数。希望......
  • ComfyUI进阶篇:ComfyUI核心节点(一)
    ComfyUI进阶篇:ComfyUI核心节点(一)前言:学习ComfyUI是一场持久战。当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对ComfyUI的核心节点进行系统梳理,并详细解释每个......