首页 > 其他分享 >Stable diffsuion基础篇(3)

Stable diffsuion基础篇(3)

时间:2024-07-05 09:28:37浏览次数:15  
标签:蒙版 Stable 基础 生成 修改 区域 图像 diffsuion 重绘

前言:

这一篇详细记录了图生图的五大模块以及每个模块的各个参数,内容比较多,写得比较废眼。内容看得估计也会枯燥,后续会录一个视频和文本相结合。

Stable diffusion webui 页面介绍

图生图的工作原理是什么

1. 初始图像输入:完整的图像、部分完成的图像、低分辨率图像、噪声图像

2. 噪声引入:模型在初始图像上逐步引入噪声。这个过程是一个向前的扩散过程,类似于将图像逐渐变得模糊和混乱。每一步都会增加一定量的随机噪声,使图像变得越来越接近于纯噪声。

3. 反向扩散过程:在反向扩散过程中,模型从完全噪声化的图像开始,逐步去除噪声,恢复图像的细节。这一步由扩散模型完成,通过一系列去噪步骤,生成新的像素值,使图像变得清晰和详细。

4. 生成图像:经过多次去噪步骤,最终生成的图像会保留初始图像的一些特征,但同时也引入了新的细节和元素(提示词引导),使其在视觉上与初始图像有明显区别。

简单概括就是,我们上传图像给到模型,模型把噪声点铺满我们的图像,再根据我们的提示词或者其他影响的因素,逐步去噪生成新的图像的过程。

图生图功能区

一、图生图

1.缩放模式

仅调整大小:将图像调整到目标尺寸,而不进行任何裁剪或填充操作。

裁剪后缩放:先裁剪图像使其适合目标比例,然后缩放到目标尺寸。

缩放后填充空白:将图像缩放以适应目标尺寸,然后填充空白部分以保持原图像比例。

调整大小(潜空间放大):在调整图像大小的过程中,利用潜空间放大技术(Latent Space Upscaling)增强图像细节和质量。

2.重绘尺寸和重绘尺寸倍数

重绘尺寸是指在图生图过程中,目标图像的最终分辨率。它决定了生成图像的宽度和高度。(设置生成图片的尺寸)

重绘尺寸倍数是指图像放大的倍数,它是在原始图像的基础上通过插值算法来增加图像的尺寸。(按照原图的倍数设置尺寸)

3.重绘幅度

重绘幅度是指在图像处理过程中,选定区域被修改或重绘的强度。这个参数可以调整模型在生成新内容时,保留原始图像细节的多少以及引入新内容的多少。

数值0.1~0.4:整体基本不变

数值0.4~0.7:在原图基础上变化

数值0.7~1.0:完全放飞自我创造

4.其他参数和文生图是一样的。

二、涂鸦

涂鸦的参数和图生图也是一样的,不同的上传图片部分多了一个画笔和色块板

红框是画笔部分,左右拉伸可以调节下方白色圆快的大小。

点击画板部分可以选择你想要的颜色,然后进行涂鸦,提示词再更换你想要的衣服。

三、局部重绘

重绘之前需要先了解什么是蒙版。

被涂抹的地方就叫蒙版。

蒙版模式是指在图像处理中,通过绘制蒙版来选择图像的某些部分进行处理,而其他部分保持不变。蒙版可以是任意形状的区域,通常通过手动绘制或自动生成。

局部重绘定义:在图像的某些区域进行修改、填补或重绘,同时保持其他区域不变。

作用:

1.修复图像中的瑕疵、污点或损坏的部分。

2.替换图像中的特定内容,例如改变背景、替换某个对象等。

3.在图像中补全缺失的部分,使其看起来完整。

4.在图像的某些部分进行创意绘制和修改,增加新的元素或改变图像风格。

1.蒙版边缘模糊度

蒙版边缘模糊度是指蒙版(mask)边缘的平滑程度,控制蒙版区域与非蒙版区域之间的过渡效果。通过设置蒙版边缘的模糊度,可以使修改区域与原始图像更加自然地融合。

平滑过渡

通过模糊蒙版边缘,可以创建从修改区域到未修改区域的平滑过渡,避免明显的边

适用于需要自然融合修改区域的场景,如图像修复、背景替换等。

减少边缘伪影

模糊蒙版边缘可以减少重绘过程中可能产生的边缘伪影和硬边效果。

在处理高对比度图像或复杂背景时,模糊边缘可以显著提高视觉效果。

增强自然感

通过设置合适的边缘模糊度,使得修改后的图像看起来更加自然和真实。

在艺术创作和图像编辑中,模糊边缘可以帮助实现更自然的效果,如在图像中添加新的元素或进行风格转换。

数值一般保持默认4就好,具体看自己的需要修改的图片来调整,数值越高,蒙版边缘的羽化区域越宽,数值太高,可能会导致生成图像细节丢失。

2.蒙版模式

重绘蒙版内容

在这种模式下,只有被蒙版覆盖的区域会被处理和修改,而蒙版外的区域保持不变。

重绘非蒙版内容

在这种模式下,只有未被蒙版覆盖的区域会被处理和修改,而蒙版覆盖的区域保持不变。

3.蒙版区域内容处理

蒙版区域内容处理是指在图像处理过程中,如何处理由蒙版定义的特定区域的内容。不同的处理方式可以实现不同的效果和用途。

填充

将蒙版区域填充为特定的内容,例如纯色、纹理或图案。

使用相邻区域的纹理或颜色填充蒙版区域,以修复图像缺陷。

将不需要的部分填充为特定内容,如背景替换。(略微参考原图色调重绘)

原版

保留蒙版区域的原始内容,不对其进行任何修改。

在图像处理中保护不希望被修改的部分。

仅对未被蒙版覆盖的部分进行处理。(参考原图进行重绘)

潜空间噪声

在蒙版区域引入潜空间噪声,以生成新的内容。

通过引入噪声,生成新的图像内容,使其与原图像自然融合。

在蒙版区域生成更高细节的内容。

在蒙版区域生成更高细节的内容。(彻底重绘,抹去原图信息)

空白潜空间

将蒙版区域设置为空白潜空间,在处理过程中由模型生成全新内容。

对蒙版区域进行完全重绘,生成与原始内容无关的新图像部分。

通过完全重绘生成全新的创意内容。

创意设计中生成全新元素,如在风景画中添加新对象。

完全替换图像中的特定部分,如在肖像画中改变背景或服装。(彻底重绘,抹去原图信息)

4.重绘区域

整张图片

在此模式下,整个图像都会被重新处理和生成,无论是否有蒙版。

对整张图像进行整体处理和修改。

优点:图片重绘部分融合度高

缺点:不适合重绘超大图、重绘区域较小时,重绘的画面精度低

仅蒙版区域

在此模式下,仅蒙版覆盖的区域会被处理和修改,蒙版外的区域保持不变。

只对图像的特定部分进行处理,而不影响其他部分。

替换图像中的某些元素,如背景或物体。

修复图像中的局部缺陷或污点。(修复人脸经常用)

优点:不受原图尺寸的影响(重绘的像素分配给仅蒙版区域,可以修复缺陷等等)

缺点:重绘部分融合度差

仅蒙版区域下边缘预留像素

在蒙版区域的边缘预留一些像素,这些预留像素用于平滑过渡,避免硬边效果。

保留蒙版边缘的细节,使修改后的图像更自然。

扩大一点蒙版的参考范围,增加和周围原图的融合效果。

拓展:可以配合 Lora,完成指定脸型的替换、重绘精确度不足,需要配合 controlnet 增加精确度

四、涂鸦重绘

涂鸦重绘是一种基于我们手绘涂鸦或草图生成高质量图像的技术。我们可以在原始图像上或空白画布上绘制简单的线条或形状,模型根据这些输入生成相应的复杂图像。(基本上没用)

五、上传重绘蒙版

通过上传预先准备好的蒙版图像来定义图像中需要重绘或修改的区域。蒙版图像通常是二值图像,黑白色用于指示需要处理的区域和保留的区域。

通过自定义蒙版图像,可以精确选择需要重绘的图像部分,提供更高的控制度。

创建或准备一个二值蒙版图像,白色区域表示需要重绘的部分,黑色区域表示保留的部分。

在图像处理工具中,上传需要编辑的原始图像和对应的蒙版图像。

这里会根据蒙版图像确定需要重绘的区域。

常用于换装。

六、提示词反推

1.clip反推

CLIP反推是一种利用CLIP(Contrastive Language-Image Pre-Training)模型,通过提供的图像生成相应的文本描述或提示词的方法。这种方法可以帮助理解图像内容,并生成适合的提示词用于进一步的图像生成或修改。

通过图像生成相应的文本描述。(反推成句子类的提示词)

2.deepbooru反推

DeepBooru反推是一种利用DeepBooru模型,通过输入图像生成相应的标签或提示词的方法。DeepBooru是一个专门用于图像标签生成的深度学习模型,广泛应用于动漫和插画领域。

通过图像生成详细的标签,用于图像分类和搜索。(反推成短语,单词类提示词,推荐使用)

如何使用:

上传图片到图生图,然后点击图标。

后语:

记录到这里,页面介绍基本都完了,后面会整理sd的部署,模块的放置以及插件的三种安装方法。然后再补一篇查漏补缺基础篇的内容。然后开始进军插件篇

标签:蒙版,Stable,基础,生成,修改,区域,图像,diffsuion,重绘
From: https://blog.csdn.net/m0_56937682/article/details/140186594

相关文章

  • RabbitMQ基础
    微服务一旦拆分,必然涉及到服务之间的相互调用,目前我们服务之间调用采用的都是基于OpenFeign的调用。这种调用中,调用者发起请求后需要等待服务提供者执行业务返回结果后,才能继续执行后面的业务。也就是说调用者在调用过程中处于阻塞状态,因此我们成这种调用方式为同步调用,也可以叫同......
  • 苹果macOS系统U盘版/恢复版基础安装教程
    目前,刻录U盘进行安装是主流选择,这样安装调试好的黑苹果macOS问题最少,也较为稳定。镜像恢复安装的方式,某宝上的远程安装的商家都是这么干的,但是其中很大一部分商家存在一个严重问题:macOS从10.14开始全面采用了APFS文件系统,但是当时的恢复软件无法支持这个文件系统,仅支持更老的......
  • C#基础2024.07.03
    目录1、字符串的常见方法 1.1Format(格式化)1.2IsNullOrEmpty(判断是否为null或空(""))和IsNullOrWhiteSpace(判断是否为null或空("")或"")1.3Equals(判断两个对象是否相等)1.4Contains(判断字符串中是否包含某个字符串)1.5Length(计算字符串的长度)1.6Substring(截取字符串)1.7I......
  • C#基础2024.07.04
    1.整数转换,整数和字符串,字符串和整数之间的转换怎么实现?//将string类型转为int类型//方法1:使用int.Parse实现stringstr="123";inta=int.Parse(str);//方法2:使用Convert.ToInt32实现intb=Convert.ToInt32(str);//将int类型转换为string类型intn=123......
  • Python基础语法(与C++对比)(持续更新ing)
    代码块Python在统一缩进体系内,为同一代码块C++{...}内部的为同一代码块注释Python单行注释:#...多行注释:'''...'''C++单行注释://...多行注释:/*...*/数据类型1.Python数据类型    Python中支持数字之间使用下划线'_'分割数字,旨在查看方便    ......
  • 【ESP32】打造全网最强esp-idf基础教程——15.WiFi连接STA模式
    WiFi连接STA模式一、ESP32的WiFi功能介绍    前面章节内容,基本上都是描述了ESP32强大的MCU能力,这些MCU能力使得ESP32可以替换许多类型的单片机工作,而自己承担这部分功能;当然ESP32的IOT能力才是它的主业,从硬件配置来看,ESP32支持2.4GHz频段WiFi+BT(LE)4.2,而esp-idf对WiFi......
  • 线性回归之基础篇
    简介通常在C编程中,我们会采用线性回归或多项式拟合方法,用于拟合多个坐标点的数据。而线性回归是一种最为常见的拟合技术,它通过最小二乘法来估计回归系数,以找到使误差函数最小化的参数值。在这个过程中,我们需要运用偏导数和链式法则等微积分概念,以计算参数的导数,从而优化误......
  • 当管理和维护 Active Directory 环境时,有一些基础的 PowerShell 命令可以帮助进行常规
    当管理和维护ActiveDirectory环境时,有一些基础的PowerShell命令可以帮助进行常规的检查和管理操作。以下是一些常用的基础检查命令示例:1.获取特定用户信息powershellCopyCode#获取特定用户的基本信息Get-ADUser-Identity"username"这个命令用于获取特定用户的基本......
  • day62--若依框架(基础应用篇)
    若依搭建若依版本官方若依官方针对不同开发需求提供了多个版本的框架,每个版本都有其独特的特点和适用场景:前后端混合版本:RuoYi结合了SpringBoot和Bootstrap的前端开发框架,适合快速构建传统的Web应用程序,其中前端和后端代码在同一项目中协同工作。前后端分离版本:RuoYi-Vu......
  • 基于StableDiffusion3的AI图像生成
        随着人工智能技术的不断进步,图像生成已经成为一个备受关注的领域。StableDiffusion3作为最新一代的图像生成模型,以其卓越的性能和灵活的配置受到了广泛的关注。本文将详细讲解如何配置和使用StableDiffusion3进行AI图像生成。    一、前提条件在开始之前,......