首页 > 其他分享 >【comfyui教程】ComfyUI喂饭教程!一个适合新手的工作流搭建思路!

【comfyui教程】ComfyUI喂饭教程!一个适合新手的工作流搭建思路!

时间:2024-12-26 15:29:47浏览次数:8  
标签:教程 ComfyUI ControlNet 重绘 工作 comfyui 节点 搭建

前言

在[《解锁ComfyUI:新手到高手的五级跳》]这篇文章中,我分享了自己学习ComfyUI的五个阶段,而最后一个阶段——创建自己的工作流,尚未详细介绍。今天我就来填坑啦~

自己动手,丰衣足食,自己从头到尾搭建一个工作流,才是真正掌握ComfyUI精髓的王道。我们马上开始吧!


一、明确目标,分析问题

在动手之前,我们需要先明确自己的需求和目标,这也是完成一个工作流搭建的首要步骤。假设我现在要做一个露营活动海报,我手头有这样一张图片,但我想要的表现形式是手绘风格人物与真实户外场景相结合。

那么我要解决的问题便是:

  • 抠出人像。

  • 针对人像做局部重绘,使其转绘成手绘风。

二、探索实现目标的路径

明确了目标之后,就开始研究有哪些路径可以实现,从而选择效果更好或效率更高的方式。

抠出人像,我们有几种选择:

  • 使用Photoshop等软件抠图,再上传图片蒙版。

  • 在ComfyUI局部重绘蒙版编辑器里直接绘制。

当然,还有更智能的选择,比如使用ComfyUI里的智能抠图节点,SAM+Grounding DINO的组合。

Grounding DINO能够根据用户输入的文本描述检测图像中的物体,生成一个大致的区域范围,而SAM(Segment Anything Model)可以在这个区域里做更仔细的分割,把物体抠出来并生成相应的蒙版。

现在,我把图片加载上去,然后描述要抠的是坐着的这位美女,很快就可以得到抠出以后的人像和对应的蒙版信息了。

至于手绘风格,我们也有多种方法:

  • 直接使用手绘风格的Checkpoint大模型。

  • 通过lora实现风格化。

  • 使用IP-Adapter,借助参考图来塑造风格。

别忘了,重绘人物时加上ControlNet来保持人物的关键特征,而选用哪种Controlnet更合适呢?这也是需要你不断尝试的。

在尝试不同方法的时候,我们可以灵活选用不同的操作界面。比如在WebUI里测试不同模型的效果,毕竟在工作流搭建完成前,WebUI操作起来更方便。

三、逐步构建工作流

准备工作做完了,现在我们来搭建工作流。

我的建议是:化整为零,先完成再完美。想象我们在用积木搭一只巨型猛兽,我们暂时还不清楚它的整体身形,但是可以先把它的头部、四肢、身体、尾巴等核心部位一一搭出来,然后再逐步拼接,渐次成型。

具体步骤如下:

1.添加核心节点。

在ComfyUI的界面上,我们先把每个环节的核心节点添加上:

  • Load Image(加载图像)

  • Load Checkpoint和Load Lora(大模型加载器、Lora加载器)

  • G-Dino+SAM Segment(智能抠图节点)

  • Set Latent Noise Mask(设置Latent噪波遮罩)

  • Controlnet

  • KSampler(K采样器)

  • CLIP Text Encode(文本编码器)

  • Save Image(保存图片)

2.连接核心节点

连接节点时,我们可以采用“顺序连接、逆向倒推、输入点填满”三种思路。

顺序连接:

从最开始的只有一侧端口的节点出发,去思考有哪些地方会跟它产生直接的联系?

与图像加载器产生直接联系的地方有抠图节点、局部重绘、ControlNet。所以从“Load Image”出发的路径有:

模型加载器,在这个工作流里只有K采样器,它的连接路径就是:

顺序连接的思路,可以迅速串联起已经添加进来的大部分主要功能节点。

逆向倒推:

与此同时,你还可以以一种倒推的思路来连线,并在此过程中对核心节点查漏补缺。

比如KSampler,输入端口“条件”,可以逆向连接到ControlNet输出的条件。而ControlNet的条件是和文本编码器读取的提示词条件汇集在一起的,所以它的前面又可以连到文本编码器。文本编码器的Clip直接连回模型加载器。

保存图片的节点,添加一个解码器,倒着接回到KSampler。

输入点填满:

一般情况下,所有节点的输入端口都必须被填满(少量拥有多个功能分支的复杂节点除外)才能正常工作。所以到最后,我们检查看看还有哪些节点的输入没被连上的。

不知不觉间,工作流的核心部分就已经全部串联起来了。

3.补充与完善

经过前面的步骤,一个工作流的大体框架已经搭建出来了。接下来就是完善工作流,比如添加一些调节参数类型的节点:

Tagger反推提示词节点,这样不用每张图片都亲自填写提示词。

Resize Image节点,自动调整图片尺寸,提高工作流效率。

另外,还可以在抠图节点和ControlNet后面添加Preview Image(预览图片)节点,以检查阶段输入结果是否合理。

4.测试与优化

首先测试工作流是否能正常运转,如果前面的操作都到位,这一步应该没什么问题。然后,我们就可以微调各项参数,比如抠图的阈值、lora权重、ControlNet权重、重绘幅度等,找到最佳配置。建议多换几张不同规格/形式的图片,检查是否能稳定输出符合要求的结果。

5.整理工作流

强迫症患者可能会很喜欢这一步。刚完成的工作流界面是这样:

如果只是自己使用,那问题不大。但如果需要分享出去,可就得花时间整理一下了,否则这杂乱无章的节点和连线容易令人抓狂。

首先,把同一功能的节点归在一起,然后上下左右对齐,调节大小,统一颜色。还可以编组,并添加使用标注。对于不再需要修改内容的节点,可以点击左上角的圆点将其隐藏。

好了,整理好的界面是这样的,是不是比刚刚的整齐多了?

今天聊的工作流搭建思路就到这里啦。如果你觉得我的分享对你有帮助,或者你想了解更多相关技巧,那就别忘了点个关注哦!期待下次还能和你在这里相遇!

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南
  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门
  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解
  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联
  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解
  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建
  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

标签:教程,ComfyUI,ControlNet,重绘,工作,comfyui,节点,搭建
From: https://blog.csdn.net/2401_84760527/article/details/144744760

相关文章

  • IntelliJ IDEA 2024.3 安装教程与激活方法(附常见问题解决)
    IntelliJIDEA概述IntelliJIDEA是JetBrains公司推出的一款功能强大的Java集成开发环境(IDE),凭借其丰富的功能和工具集,极大地提升了开发者的编程效率和工作体验。温馨提示:本文中的方法仅供学习交流使用,如果条件允许,请支持正版软件。删除旧版本IntelliJIDEA如果您的电脑中已......
  • DataGrip2024.3完整版的安装教程(附激活,常见问题处理)
    卸载老版本DataGrip首先,如果小伙伴的电脑上有安装老版本的DataGrip,需要将其彻底卸载掉,如下所示(没有安装则不用管,直接安装即可):TIP:如果你之前使用过本站提供的 激活到2025年版本脚本,需要执行对应卸载脚本/适用2024版本/JetBrains2023最新全家桶/jetbra/scripts/unin......
  • AI绘画,一步一步徒手搭建ComfyUI工作流,教你编辑和修改工作流,ComfyUI入门教程
    前言:“探索AI绘画的魅力,从零开始,一步步带你徒手搭建ComfyUI工作流。本教程将详细介绍如何编辑和修改工作流,助你轻松入门ComfyUI,开启创意无限的艺术之旅。跟随我的步伐,让我们一起揭开AI绘画的神秘面纱!”在上一篇文章中,我们讲过如何自己一步一步手动搭建ComfyUI的基本工作......
  • AIGC | 有手就行的AI绘画教程!全程干货,速来学习!
    AI绘画工具的出现,让设计岗的同事更会画画了,还让策划/制片/三维/后期/运营……也能“画”一画了。今天小源就教一教大伙,萌新小白都能迅速上手的_AI绘画教程_,从零开始,产出你画不出来的“画”!AI绘画,即利用人工智能进行绘画,是人工智能生成内容的典型应用场景之一。其大概......
  • ComfyUI 多角度人像生成工作流深度解析, 新手也能轻松掌握!
    这个工作流的主要任务,就是生成一个人物在不同角度下的图像。听起来是不是很神奇?我们可以把这个过程想象成给一个虚拟模特拍照,从各个角度捕捉她的风采。整个工作流的核心在于如何让生成的图像在多个角度下保持一致,就像真的是同一个人在转动身体一样。这里面有两个关键点,也......
  • Navicat Premium 17 激活破解版下载及安装教程
    前言NavicatPremium是一套可创建多个连接的数据库开发工具,让你从单一应用程序中同时连接MySQL、MariaDB、MongoDB、SQLServer、Oracle、PostgreSQL和SQLite。它与OceanBase数据库及AmazonRDS、AmazonAurora、AmazonRedshift、MicrosoftAzure、OracleCloud、Mongo......
  • Sealos Devbox 基础教程:使用 Cursor 从零开发一个 One API 替代品
    随着技术的成熟和AI的崛起,很多原本需要团队协作才能完成的工作现在都可以通过自动化和智能化的方式完成。于是乎,单个开发者的能力得到了极大的提升-借助各种工具,一个人就可以完成开发、测试、运维等整条链路上的工作,渡劫飞升成为真正的“全干工程师”。之前我们分享过一些入......
  • 【建议收藏】渗透测试零基础入门教程,全程干货!
    转眼间,从大三开始学安全,到现在也有五年了,也算是对渗透测试有一定理解,公众号准备出一些入门教程,以实操为主,希望可以帮助到想入门渗透测试的小白。如果觉得有用,可以在文章后面支持一下我,作为我写下去的动力。1.什么是渗透测试渗透测试就是模拟真实黑客的攻击手法对目标网站......
  • 【数据集】【YOLO】【目标检测】灭火器识别数据集 3261 张,YOLO灭火器识别算法实战训练
     一、数据集介绍【数据集】灭火器识别数据集3261张,目标检测,包含YOLO/VOC格式标注。数据集中包含1种分类:names:['extinguisher'],表示"灭火器"。数据集图片来自国内外网站、网络爬虫、监控采集等;可用于监控和移动设备灭火器识别。检测场景为工业园区、办公大楼、居民楼......
  • wps office 2019专业版激活破解教程
    前言wpsoffice2019专业增强版含无云版是一款非常方便的办公软件,我们在日常的工作中总会碰到需要使用WPS的时候,它能为我们提供更好的文档编写帮助我们更好的去阅读PDF等多种格式的文档,使用起来非常的快捷方便。使用某银行专业增强版制作,包含vba和Pdf,集成序列号,去除密匙校验,去除......