首页 > 其他分享 >ComfyUI进阶篇:ComfyUI核心节点(一)

ComfyUI进阶篇:ComfyUI核心节点(一)

时间:2024-07-05 16:34:47浏览次数:21  
标签:编码 CLIP ComfyUI 模型 进阶篇 图像 节点

ComfyUI进阶篇:ComfyUI核心节点(一)

前言:

学习ComfyUI是一场持久战。当你掌握了ComfyUI的安装和运行之后,会发现大量五花八门的节点。面对各种各样的工作流和复杂的节点种类,可能会让人感到不知所措。在这篇文章中,我们将用通俗易懂的语言对ComfyUI的核心节点进行系统梳理,并详细解释每个参数。希望大家在学习过程中培养自我思考的能力,真正掌握和理解各个节点的用法与功能。在实践中不断提升自己的技术水平。只有通过不断的探索和总结,才能在面对复杂的工作流时游刃有余。祝大家学习顺利,早日成为ComfyUI的高手!

目录:

一、Load Checkpoint节点

二、Load Checkpoint with config节点

三、CLIP Set Last Layer节点

四、CLIP Text Encode (Prompt)节点

五、KSampler节点

六、Empty Latent image节点

七、VAE Decode节点

八、Save image节点

九、文生图示例工作流

一、Load Checkpoint节点

在ComfyUI中,Load Checkpoint节点是一个非常重要的核心节点。其功能是加载checkpoint大模型,常用的大模型有sd1.0、sd1.5、sd2.0、sd3.0、sdXL等。

1

输入

ckpt_name -> 自行选择在模型网站下载好的大模型(在用WebUI时下载了大模型的可以共享路径文件,节省磁盘空间)

输出

MODEL -> 该模型用于对潜空间图片进行去噪

CLIP -> 该模型用于对Prompt进行编码

VAE -> 该模型用于对潜在空间的图像进行编码和解码

注意:·StableDIffusion大模型(checkpoint)内置有CLIP和VAE模型

·另加载大型模型时,可能会耗费较长时间或占用大量内存,确保系统资源充足,避免因资源不足而导致的加载失败。

  1. Load Checkpoint with config节点

该节点是一个高级的节点,用于加载checkpoint大模型并同时应用config文件中指定的设置。

2

输入:

Config_name -> 指定要加载的检查点文件的路径

Ckpt_name -> 自行选择在模型网站下载好的大模型

输出:

MODEL -> 该模型用于对潜空间图片进行去噪

CLIP -> 该模型用于对Prompt进行编码

VAE -> 该模型用于对潜在空间的图像进行编码和解码

注意:确保checkpoint文件和config文件与当前使用的ComfyUI版本兼容

  1. CLIP Set Last Layer节点

对CLIP进行微调并调整最后一层(Set Last Layer)。该节点用来设置选择CLIP模型在第几层的输出数据,提高模型在目标任务上的表现。

3

输入:

clip -> 接收用于对prompt进行编码的CLIP模型

输出:

CLIP -> 具有新设置的输出层的CLIP模型。

参数:

stop_at_clip_layer -> 设置CLIP模型在第几层进行数据输出

注意:CLIP模型对prompt进行编码的过程中,可以理解为对原始文本进行层层编码,该参数就是选择我们需要的一层编码信息,去引导模型扩散。

  1. CLIP Text Encode (Prompt)节点

该节点用来输入正反向提示词,也就是“文生图”,“文生视频”中“文”的输入位置

4

输入:

clip -> 接收用于对prompt进行编码的CLIP模型

输出:

CONDITIONING -> 将文本信息通过CLIP模型编码,形成引导模型扩散的条件信息

参数:

文本输入框 -> 输入需要模型生成的文本信息,正向提示词及反向提示词

注意:当前prompt仅支持英文的输入,但可通过安装插件实现中文实时翻译

  1. KSampler节点

该节点专门用于逐步减少潜在空间图像中的噪声,改善图像质量和清晰度。

5

输入:

model -> 接收来自大模型的数据流

positive -> 接收经过clip编码后的正向提示词的条件信息(CONDITIONING)

negative -> 接收经过clip编码后的反向提示词的条件信息(CONDITIONING)

latent_image -> 接收潜空间图像信息

输出:

LATENT -> 经过KSampler采样器进行去噪后的潜空间图像

参数:

seed -> 在去除图像噪声过程中使用的随机数种子。种子数有限,影响噪声生成的结果

control_after_generate -> 指定种子生成后的控制方式

fixed代表固定种子,保持不变

increment代表每次增加1

decrement代表每次减少1

randomize代表随机选择种子

steps -> 对潜在空间图像进行去噪的步数。步数越多,去除噪声的效果可能越显著

cfg -> 提示词引导系数,表示提示词对最终结果的影响程度。过高的值可能会产生不良影响。

sampler_name -> 选择的采样器名称,不同的采样器类型可以影响生成图像的效果,大家可以根据需求进行选择和实验

scheduler -> 选择的调度器名称,影响生成过程中的采样和控制策略,推荐配置可提供更好的结果

denoise -> 去噪或重绘的幅度,数值越大,图像变化和影响越显著。在高清修复等任务中,通常使用较小的值以保持图像细节和质量

  1. Empty Latent image节点

该节点用来控制纯噪声的潜空间图像及比例。

6

输出:

LATENT -> 输出指定形状和数量的潜空间图像

参数:

width -> 要生成潜空间图像的宽度

height -> 要生成潜空间图像的高度

batch_size -> 需要生成多少张潜空间图像

注意:sd1.0、sd1.5等模型来说最佳尺寸为512*512

sd2.0、sd3.0等模型来说最佳尺寸为1024*1024

  1. VAE Decode节点

该节点用来将潜空间图像解码到像素级的图像。

7

输入:

samples -> 接收经过 KSampler 采样器处理后的潜在空间图像, 用于后续的处理或展示

vae -> 接收用于解码潜在空间图像的 VAE 模型, 大部分情况下,模型的检查点(checkpoint)会包含 VAE,当然也可以单独加载一个VAE模型

输出:

IMAGE -> 输出经过 VAE 解码后可直接查看的图像

  1. Save image节点

该节点用来保存image图像

8

输入:

images -> 保存图像

Tips:一般保存的图像会在你的ComfyUI文件夹中(eg:安装盘:\Comfyui\ComfyUI\output )

  1. 文生图示例工作流

熟悉以上所有节点之后,你就可以搭建第一个“文生图”工作流了

161671a411bdfb3d7d73da7c6e84832

这里使用了sd1.5的大模型,所以latent图像设置512*512,正向提示词输入1 girl,反向提示词输入NSFW避免出现不能播的内容,采样器KSampler使用默认设置,最终出图如下:

10

孜孜以求,方能超越自我。坚持不懈,乃是成功关键。

标签:编码,CLIP,ComfyUI,模型,进阶篇,图像,节点
From: https://www.cnblogs.com/LIU-QiuXue/p/18284078

相关文章

  • VMware vSphere Tanzu部署_16_TKC集群节点VM密码获取
    SupervisorControlPlaneVM密码获取通过SSH方式登录vcentervcenter开启SSH服务通过SSH工具登录vcenter执行获取密码脚本在vcentershell模式下执行/usr/lib/vmware-wcp/decryptK8Pwd.py命令WARNING!TheremoteSSHserverrejectedX11forwardingrequest.Connect......
  • 基于LEACH路由协议的网络性能matlab仿真,包括数据量,能耗,存活节点
    1.程序功能描述       LEACH的原理在于它将传感器节点分为两类:簇头节点和普通节点。普通节点将数据发送给距离自己最近的簇头节点,然后簇头节点将收集到的数据融合后发送给基站。这种机制可以减少网络中节点的能耗,并且能够提高数据融合比例,减少传输数据量。本课题将分别对......
  • Python学习笔记28:进阶篇(十七)常见标准库使用之质量控制中的代码质量与风格第二部分
    前言本文是根据python官方教程中标准库模块的介绍,自己查询资料并整理,编写代码示例做出的学习笔记。根据模块知识,一次讲解单个或者多个模块的内容。教程链接:https://docs.python.org/zh-cn/3/tutorial/index.html质量控制质量控制(QualityControl,QC),主要关注于提高......
  • ROS学习笔记(三、ros节点使用)
    对于ros节点的理解部分:节点(nodes)是ros中一个很重要的部分,一个节点等价于一个可执行文件。通俗理解就是:我们所有写的代码,脚本都是需要执行的,因此需要将我们写的代码等转化成一个ros中可以执行的文件,这个可执行文件在ros中称为节点。一个节点可以通过ros与其他节点进行一个通......
  • antV x6鼠标右键事件、鼠标滑过 节点 新增删除事件、节点 鼠标摁下 node节点禁止连入
    graphSvg为当前的画布//鼠标右键事件graphSvg.on('node:contextmenu',({e,node})=>{e.preventDefault();//阻止默认的右键菜单console.log(e,node)})//鼠标滑过节点新增删除事件graphSvg.on('node:mouseenter',({nod......
  • ComfyUI基础篇:为什么要学 ComfyUI?
    前言:在AI生成图像领域,有许多产品,例如Midjourney和StabilityAI等。为什么要学习ComfyUI呢?我斗胆带大家一起分析一下。目录1.MidjourneyVSStableDiffusion2.SDWebUIVSComfyUI3.总结MidjourneyVSStableDiffusion在回答这个问题之前,我觉得......
  • comfyui使用模型两种方式
    1、huggingface1.1原始用法是模型clone到本地,直接运行下面记录了git克隆大文件报错的问题https://github.com/git-lfs/git-lfs/issues/5749打开gitbash,直接执行GIT_CLONE_PROTECTION_ACTIVE=false就行这种方式应该也可以GIT_CLONE_PROTECTION_ACTIVE=false......
  • 【剑指offer】JZ23-链表中环的入口节点-Python解法
    1.题目描述2.解题思路(Python版)方法:双指针法思路:根据题目描述,需要找到一个链表环的入口节点,这个题目可以拆分成三个小问题:(1)如何确定一个链表中是否包含环?(2)如果有环,环中节点的数目如何计算?(3)如何找到环的入口?接下来分别解决上述三个问题:(1)如何确定一个链表中是否包含环:有......
  • Python学习笔记27:进阶篇(十六)常见标准库使用之质量控制中的代码质量与风格第一部分
    前言本文是根据python官方教程中标准库模块的介绍,自己查询资料并整理,编写代码示例做出的学习笔记。根据模块知识,一次讲解单个或者多个模块的内容。教程链接:https://docs.python.org/zh-cn/3/tutorial/index.html质量控制质量控制(QualityControl,QC),主要关注于提高......
  • VMware vSphere Tanzu部署_08_配置tanzu为单节点
    1.配置tanzu控制节点为单节点1.1.修改控制节点数量参数需要通过ssh登录vcenter,并进入bashshell查看/etc/vmware/wcp/wcpsvc.yaml中控制节点数量root@localhost[~]#sed-n'18,20p'/etc/vmware/wcp/wcpsvc.yamlclusterconfig:minmasters:3maxmasters:3ro......