首页 > 其他分享 >ControNet基础学习

ControNet基础学习

时间:2024-02-20 20:45:06浏览次数:26  
标签:ControlNet ControNet AI 基础 信息 学习 LoRA 图片

1. 使用背景

AI绘画虽然能够利用图生图的方式,生成类似图片风格特征的一种新图片,但是,大体上还是无法精准控制整体图片的细节特征,如果用于自娱自乐的倒也可以,但是在更专业的场景上,精准控制出图成为了AI绘画的一个重大难题。

2. 基础原理

在控制原理上ControNet和LoRA是有很多相似的之处的。定位都是对大扩散模型做微调的额外网络。控制网的核心作用是基于一些额外输入给它的信息来给扩散模型的生成提供明确的指引。

ControlNet搭载了许多和Checkpoint、LoRA一样,用大量图片数据训练出来的记录了对应信息的ControlNet控制模型,能让其读懂图片上的信息。因此,AI就能精准控制相应的特征。

这里与图生图做个对比,这里提供出来的信息比图生图里的信息更加纯粹。排除了图片本身的元素——比如上面已有的颜色、线条的影响,只是单纯一个点的信息,不会对其他你想要的通过提示词、LoRA等去输入的信息构成太多的影响。

在ControlNet中我们可以通过预处理器,智能的识别并提取相应的信息。

3.五大ControlNet模型简介

image.png

标签:ControlNet,ControNet,AI,基础,信息,学习,LoRA,图片
From: https://www.cnblogs.com/tangwc/p/18024003

相关文章

  • 组合数学学习笔记
    p3744.打扑克直接递推了。p3745.combination使用卢卡斯定理切掉。longlongc(longlongn,longlongm){ returnf[n]*g[m]*g[n-m]%mod;}longlonglcs(longlongn,longlongm){ if(m==0) return1; returnlcs(n/mod,m/mod)*c(n%mod,m%mod)%mod;}3342.【模......
  • 数论学习笔记
    如题。链接:https://h.hszxoj.com/d/hzoj/training/64ae62d5016fac9fb4da7086?uid=4823336.cf1444A洛谷link小数学题。gxyz上的很好A,但是CF上的数据确实超级大。先判断\(\displaystyleq/p\)是否成立,若不成立则直接cout<<p;否则就要遍历\(q\)的质因数,然后再找对应质......
  • 递归学习笔记
    本文同步发表在洛谷博客我们充分发扬人类智慧:将递推和递归混为一谈在\(dp\)的基础上来学递归然后把递推和\(dp\)混为一谈然后我就发现:™的我\(dp\)没学好!然后去学\(dp\),然后发现我递推没学好,所以四舍五入我递归也学不好,那就不学了!好了让我们步入正题正文......
  • 高斯消元 学习笔记
    \[\Large\text{GaussianElimination}\]数学上,高斯消元法(或译:高斯消去法),是线性代数规划中的一个算法,可用来为线性方程组求解。——百度百科说实话,我不相信这是高斯发明的。感觉像是个小学生都学过的加减消元法。它的时间复杂度与方程个数、未知数个数有关,一般来讲,是\(O......
  • 基于yolov2深度学习网络的血细胞检测算法matlab仿真
    1.算法运行效果图预览 2.算法运行软件版本MATLAB2022a 3.算法理论概述         血细胞检测是医学图像处理领域的重要任务之一,对于疾病的诊断和治疗具有重要意义。近年来,深度学习在医学图像处理领域取得了显著成果,尤其是目标检测算法在血细胞检测方面表现出......
  • ADB学习记录
        ADB安装   1、adb下载,下载成功后,在本地解压;      Windows版本:https://dl.google.com/android/repository/platform-tools-latest-windows.zip   2、配置环境变量:把解压路径放到系统变量里去(Path);         3、按ctrl+R,输入cm......
  • 开始学习web-sql注入
    web内容多且杂,不知道怎么下手开始学,那就先从sql注入开始学吧目前只在b站上找了一些课程,还有ctfwiki作为参考链接贴在下面:ctfwikihttps://www.bilibili.com/video/BV1c34y1h7So/?spm_id_from=333.337.search-card.all.click&vd_source=27b6c7c9811379b1cf1a595591fa3086要是能......
  • Markdown学习
    Markdown学习二级标题三级标题四级标题字体Hello,World!Hello,World!Hello,World!Hello,World!引用学习java,自律起来分割线图片超链接[点击跳转到ranxx博客](ranxx-博客园(cnblogs.com))列表ABCABC表格名字性别生日张三男1997.1.......
  • Vue学习笔记 1-- 环境搭建
    第一步:安装vscode第二步:安装nodejs--node-v14.17.6-x64(需要注意版本--版本过高或过低均会导致程序打包运行问题)——一路默认,会安装对应的npm注:版本和程序中使用的依赖包不一致会导致各种打包异常......,因此需根据自身项目实际情况安装对应版本==>程序打包问题npmi/npmi......
  • 初中英语优秀范文100篇-085How to Deal with Our Study Problems-如何处理我们的学习
    PDF格式公众号回复关键字:SHCZFW085记忆树1Althoughweoftenfeelstressed,weshouldfindsuitablewaystodealwithstress.翻译虽然我们经常感到有压力,但我们应该找到合适的方式来应对压力。简化记忆压力句子结构Althoughweoftenfeelstressed是一个让步......