首页 > 其他分享 >ComfyUI 基础教程(六) —— 图像的局部重绘

ComfyUI 基础教程(六) —— 图像的局部重绘

时间:2024-10-20 21:47:26浏览次数:7  
标签:遮罩 编码器 原图 内补 ComfyUI VAE 基础教程 重绘

前言

如果你看过别人的工作流,很有可能会发现每个人用的都不一样,如果不搞清楚其中的根本思想,总会有种不踏实的感觉,好像会用了,又好像不会。本文就来介绍一下 ComfyUI 中的局部重绘的三种基础方法。

局部重绘的三种思想

首先介绍一下局部重绘的三种方法:分别是 VAE 内补编码器设置 Latent 噪波遮罩使用 ControlNet

首先说明,这三种方法,没有优劣之分,它们有着各自的使用场景,用哪种要根据自己的需求来选择。

下面通过实际例子来讲解:
先看原图:

VAE 内补编码器

这里,我们把女孩的牛仔短裤,重绘成红色的短裙,按照惯例,都是先加载默认工作流,然后在其基础上进行修改,有了前面的基础,这里我们就直接上工作流看效果:

这里关键是使用了一个 VAE 内补编码器节点,加载一张图片,手动绘制遮罩, 然后将原图像和遮罩都与VAE内补编码器连接起来,操作方法,前面的文章讲过,这里就不再赘述了,如果你是刚入门学习 ComfyUI,建议按顺序看。VAE 如果没有特殊需求,可以直接由大模型输出。最后再把输出的 Latent 连接到 K 采样器的输入。 正面提示词,要填写我们希望绘制的效果。

看到生成的结果,就是把原图中遮罩部分进行了重绘,即把牛仔短裤重绘成了红色的短裙。

VAE 内补编码器中 中的遮罩延展,可以理解为 PS 中的羽化, 大家可以自己试一下, 羽化为 0 ,重绘部分的边缘很生硬,无法和原图融为一体,设置太大了也不好,一般保持默认的 6 即可。

原理:
VAE 内补编码器,需要将原图和蒙版一起传入,这种重绘方式的原理是蒙版区域为空白潜空间,生成的图像跟之前蒙版的内容没有任何关系,只是参考了原图的风格,它适合做一些比较大的调整,重绘一个完全不相干的东西。

多尝试几次,甚至会发现,该方法重绘可能会绘制一些奇怪的画面,要像达到比较好的效果,有抽卡的成分,所以在使用这种局部重绘时,最好是用在不是微调的场景。

注意:不建议降低降噪值,原因:数值越低,越接近原图,而蒙版区域又是空白潜空间,就没了参考了。会出现没有绘制的效果。

Latent 噪波遮罩局部重绘

在不想大调整,只想局部微调的时候,使用 Latent 噪波遮罩的方法就非常适合,这种重绘方式的原理是蒙版区域参考原蒙版的内容,重绘区域还参考了原图,能更好地理解需要重新生成的内容。
我们给女孩重绘会上一个眼镜,先看工作流:

这里设置噪波幅度是有用的,当设置的太小,就会保持跟原图差不多。具体设置多少,还是需要根据效果不断调整。

ControlNet 局部重绘

ControlNet 重绘,可以理解为使用更加“专业”的方式(但不一定更加适合需求)提取原图的某种特征,对绘制进行更精准的控制。,前面有一篇文章专门讲了 ControlNet,根据 ControlNet 不同的模型,可以提取图像的轮廓图、深度图、人物姿态等各种特征。
给出传送门:ComfyUI 基础教程(三) —— 应用 Controlnet 精准控制图像生成 https://www.cnblogs.com/joy99/p/18402051

总结

最后总结一下:
关于局部重绘,三种方式的特点:

  1. VAE 内补编码器,自由度高,适合大面积的局部替换,缺点是需要抽卡。
  2. 设置 Latent 噪波遮罩,和原图完美融合,适合局部微调,生成相似的内容。
  3. ControlNet,适合精准控制图像绘制,把握整体构图。

标签:遮罩,编码器,原图,内补,ComfyUI,VAE,基础教程,重绘
From: https://www.cnblogs.com/joy99/p/18487963

相关文章

  • AI绘画:2024最全面的ComfyUI插件与Lora的下载及使用!
    前言本节我们介绍ComfyUI插件和Lora的下载及使用方式。1.安装1.1Checkpoint安装将从前面介绍的模型下载平台下载后,放在ComfyUI/models/checkpoints文件夹下。1.2Lora安装在前面介绍的模型下载网站下载Lora模型,然后放在ComfyUI/models/loras文件夹下。所有的AI设......
  • ComfyUI 节点、插件的基本指南(附整合包)
    ComfyUI是一个多功能的StableDiffusion图像/视频生成工具,能够让开发者设计并实现自定义节点,扩展功能。如果你有特定的任务想实现并需要创建一个自定义节点,本指南会带你一步步完成ComfyUI自定义节点的创建过程。开始前的准备在开始创建自定义节点之前,确保你有必要的工......
  • 浏览器渲染原理,回流,重绘
    浏览器渲染原理,回流,重绘在前端开发中,理解浏览器的渲染原理、回流(Reflow)和重绘(Repaint)是至关重要的。这不仅有助于我们编写高效的代码,还能显著提升页面的性能和用户体验。本文将深入探讨浏览器渲染的核心原理,并详细解析回流和重绘的概念、触发条件以及如何优化。......
  • 【closerAI ComfyUI】电商模特一键换装解决方案来了!细节到位无瑕疵!再加上flux模型加持
    不得了了兄弟们。这应该是电商界的福音,电商模特一键换装解决方案来了!细节到位无瑕疵!再加上flux模型加持,这个工作流不服不行!这期我们主要讨论如何使用stablediffusioncomfyUI制作完美无瑕疵的换装工作流。**这一次我们用到的节点是catVTON节点。CatVTON介绍[CatVTON是......
  • ComfyUI-Flux-PuLID-定制写真生成工作流整合包,含提示词反推,相关软件包及工作流均已打
    本期本期带来基于PuLID-for-FLUX的ComfyUI定制写真工作流,通过一张面部参考图像生成真实感十足的高保真写真图像,基于Flux底层模型,更为写实。**其中包含“输入提示词生成图像”和“参考图像反推提示词生成图像”两套工作流,**工作流操作较简单,相关ComfyUI软件包、模型、节点、......
  • 如何用ComfyUI生成专业电商产品背景图?(附工作流)
    如何用ComfyUI生成专业电商产品背景图——简单易用的工作流指南随着电商行业的飞速发展,产品展示的质量直接影响到消费者的购买决策。而通过AI生成的背景图,不仅提升了图片的质感,还能节省大量后期处理时间。今天我们要介绍的是利用ComfyUI生成电商产品背景图的完整工作流,只......
  • Krita配置comfyui,ai绘图 记录
     comfyui使用b站up、赛博佛祖秋葉aaaki的整合包。此地址下载ai插件https://github.com/Acly/krita-ai-diffusionkrita中安装下载好的插件,从文件导入python插件打开ai绘图面板:缺失节点使用复制链接地址然后,在复制的地址后加上.git后使用comfyUImanager通过gitURL安装......
  • 本地部署ComfyUI并添加强大的Flux.1开源文生图模型远程制作AI图片
    文章目录前言1.本地部署ComfyUI2.下载Flux.1模型3.下载CLIP模型4.下载VAE模型5.演示文生图6.公网使用Flux.1大模型6.1创建远程连接公网地址7.固定远程访问公网地址前言本文将详细介绍如何在本地部署ComfyUI并搭建Flux.1文生图神器,......
  • 24最新ComfyUI插件与Lora的下载及使用指南!
    前言本节我们介绍ComfyUI插件和Lora的下载及使用方式。1.安装1.1Checkpoint安装将从前面介绍的模型下载平台下载后,放在ComfyUI/models/checkpoints文件夹下。所有的AI设计工具,安装包、模型和插件,都已经整理好了,......
  • HyperMesh基础教程:概述与有限元分析简介
    1.1HyperMesh概述本节将介绍有限单元法基本原理,HyperMesh软件基本功能及界面介绍,获取在线帮助等内容。 1.1.1有限元分析方法简介有限单元法(FEM)是一种可以精确预测复杂结构在外界载荷作用下响应的方法,该数值方法起源于上世纪50年代。在有限单元法出现之前,验证设计方案或......