最近SD的大更新比较少,所以最近转战到ComfyUI,从流程节点,到工作流搭建,使用ComfyUI实现webui的大部分功能,且节点的定义性很强,这就造就了ComfyUI的多样性,但是不得不承认,多节点之间的搭配,是否符合整个底层流程,通过一个工作流实现多节点插件的配合工作是比较复杂的,而ComfyUI不近支持GPU还支持CPU,大大降低了使用门槛,在显存占用方面明显低于webui,实际测试中,出图分辨率在2160*1260 下跑视频22S仍然不会爆显存,都在说比webui有更好的内存管理功能,但是我没有找到理论知识点证明这一点。
1000张comfyui工作流请看清单首页
AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云 (tencent.com)
ComfyUI
最强大和模块化的稳定扩散 GUI、api 和后端,带有图形/节点接口
特征
- 节点/图形/流程图界面,用于实验和创建复杂的稳定扩散工作流程,而无需编写任何代码。
- 完全支持 SD1.x、SD2.x 和 SDXL
- 异步队列系统
- 许多优化:仅重新执行在执行之间更改的工作流部分。
- 命令行选项:使其在vram小于3GB vram的GPU上运行(在具有低vram的GPU上自动启用)
--lowvram
- 即使您没有具有以下功能的 GPU,也可以正常工作
- 可以加载 ckpt、安全张量和扩散器模型/检查点。独立的VAE和CLIP型号。
- Embeddings/Textual inversion
- 从生成的 PNG 文件加载完整的工作流。
- 将工作流保存/加载为 JSON 文件。
- 节点界面可用于创建复杂的工作流程,例如用于高清修复或更高级的工作流程。
- 常规模型和修复模型
- 启动速度非常快。
- 完全离线工作:永远不会下载任何内容。
劣势:
- 操作门槛高,需要有清晰的逻辑;
- 生态没有 webui 多(常用的都有),也有一些针对 Comfyui 开发的有趣插件。
安装
链接:https://pan.quark.cn/s/320387279505
下载官方整合包到本地,解压到非C盘路径,如果你已经安装了SD,webui那真是太好了,省去了大部分的基础环境安装,解压缩文件夹。重命名根目录文件夹为Comfyuiwindows即可。
各模型存放位置
大模型放入“ComfyUI_windows_portable\ComfyUI\models\checkpoints”VAE 模型放入“ComfyUI_windows_portable\ComfyUI\models/vae”Lora 模型“ComfyUI_windows_portable\ComfyUI\models/loras”
但如果你已经安装过SDWEBUI,这不需要放置任何模型到文件夹,我们可以与WEBUI共享文件夹,这真的很nice。
打开根目录下的
extra_model_paths.yaml.example
文件,右键修改为
extra_model_paths.yaml
修改basepath为你SDwebui的根路径即可
如何更新
在update文件夹下点击就可
如何下载插件
跟我们日常下载SD的插件方式一样,个人分为3种,但记住一种:只有显示了可卸载的才是成功安装的
第一种下载一个管理插件的插件
叫做manager,以后所有的插件可以在这个插件内进行管理
第一个最简单的工作流
这里不得不提到我们经常在直播中提到的SD流程图
这可以看做一个简单的最为基础的工作流,而所有的工作流是在这个基础上可扩展的,可以自定义节点流程加载。
当我们想要构建一副脑海中的画面,我们先构思画面来书写提示词,下面我们会专门介绍关于提示词部分的书写,然后由模型解析文本,反推汉字或者文本到Clip学习,接着由U-Net端到端的生成图片,然后由VAE来上色,那么一个简单的绘画流程就完成了,这个图片由噪点逐步变为清晰的过程,我们称之为扩散。
其中clip一共有12层2表示在倒数第二层停止处理,通常不能超过6当参考层的深度浅且在这个阶段就被跳过时,传递的信息量也会减少,最终以不准确的信息噪声影响生成的图像,以认为Clip Skip和CFG Scale之间没有相互作用,它们是完全不同的东西。
汉化
虽然有汉化插件,但真的真的真的不建议大家汉化,大部分的功能如果已经在SD熟悉的话,我建议不要汉化,很多含义都会产生歧义
插件下载后再小齿轮点击语言切换为中文简体即可
标签:插件,ComfyUI,模型,Animatediff,工作,SD,节点,1000 From: https://blog.51cto.com/u_16188843/9514367