首页 > 其他分享 >控制SD图片生成的神经网络模型--ControlNet

控制SD图片生成的神经网络模型--ControlNet

时间:2024-08-13 11:27:52浏览次数:14  
标签:ControlNet 绘画 -- 检测 生成 AI 图像 SD

ControlNet 是一个通过添加额外条件来控制SD中图像生成的神经网络,可以使用 ControlNet 来做以下事情:

  • 指定人体姿势。

  • 从另一幅图像复制图片的构图。

  • 生成参考图片类似的图像。

  • 将涂鸦图片变成专业的图像。

ControlNet 是用于控制SD的神经网络模型。您可以将 ControlNet 与任SD模型一起使用。

SD模型最基本的形式是文本转图像。它使用文本提示词作为条件来引导图像生成,以便生成与文本提示词相匹配的图像。

图片

ControlNet除了文本提示词外还增加了一个图像生成条件。在 ControlNet 中,额外的条件可以有多种形式。通过边缘检测和人体姿势检测控制图像生成。

边缘检测

ControlNet 通过接收额外的输入图像,并使用 Canny 边缘检测器检测其轮廓。然后,将包含检测到的边缘的图像保存为控制图。它被输入到 ControlNet 模型中,作为对文本提示词的额外调节条件。

图片

从输入图像中提取特定信息(在本例中为边缘)的过程称为注释或预处理(在 ControlNet 扩展中)。

人体姿势检测

边缘检测并不是预处理图像的唯一方法。Openpose是一种快速人体关键点检测模型,可以提取人体姿势,例如手、腿和头部的位置。请参见下面的示例。

图片

以下是使用 OpenPose 的 ControlNet 工作流程。使用 OpenPose 从输入图像中提取关键点,并将其保存为包含关键点位置的控制图。然后将其与文本提示词一起作为额外条件输入到 Stable Diffusion 。以下是根据这两个条件生成图像。

图片

使用 Canny 边缘检测和 Openpose 有什么区别?

Canny 边缘检测器可以提取主体和背景的边缘。它倾向于更专注地翻译场景。你可以看到跳舞的男人变成了女人,但轮廓和发型都保留了下来。OpenPose仅检测人体姿势的关键点,例如头部,手臂等位置。图像生成更加自由,但遵循原始姿势。

上述示例生成了一名女性跳跃的姿势,但是左脚指向侧面,与原始图像和 Canny Edge 示例中的图像不同。原因是 OpenPose 的关键点检测未指定脚的方向。

在这里插入图片描述

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍

标签:ControlNet,绘画,--,检测,生成,AI,图像,SD
From: https://blog.csdn.net/2401_85154887/article/details/141159114

相关文章

  • 算法-贪心
    1.分发饼干(LeetCode455)假设你是一位很棒的家长,想要给你的孩子们一些小饼干。但是,每个孩子最多只能给一块饼干。对每个孩子i,都有一个胃口值g[i],这是能让孩子们满足胃口的饼干的最小尺寸;并且每块饼干j,都有一个尺寸s[j]。如果s[j]>=g[i],我们可以将这个饼干j分配给......
  • Stable Diffusion 4.8.7升级版更新,Ai绘画风口已来!(无需部署,解压即用)
    2024可以称得上是Ai技术大爆发的元年,目前两款Ai神器大火,一款是大名鼎鼎的ChatGPT。另外一款大火的是本期介绍的Ai绘图软件—StableDiffusion。5月**StableDiffusionAi绘画最新版本更新啦!此次从4.7更新至4.8.7版本!**主要是更新优化和大模型增加,无需复杂的部署,解压即用......
  • Odoo17 门户链接访问令牌
    为了方便共享文档,odoo在每个文档模型中都加入了共享链接的快捷分享功能,用户可以方便的在想要分享的文档上将文档的链接分享给客户/供应商。我们以销售订单为例,来看一下分享功能的使用方法.生成共享链接我们在想要分享的文档上点击动作-分享,会弹出一个对话框:在显示的对话框中......
  • 推荐一款番茄小说下载器:fanqienovel-downloader
    fanqienovel-downloader是一款用来下载番茄小说网的小说资源工具,通过Python实现,免费供大家下载使用。使用方法输入id以下载,如:番茄小说.com/page/7276384138653862966中的7276384138653862966输入1以更新,读取record.json中的id进行更新。输入2进入设置,可调整正文段首空格......
  • 自动驾驶系列—智能驾驶新时代:解密APA车位检测系统背后的技术与应用场景
    ......
  • 【图像去噪】论文复现:新手入门必看!DnCNN的Pytorch源码训练测试全流程解析!为源码做详细
    第一次来请先看【专栏介绍文章】:源码只提供了noiselevel为25的DnCNN-S模型文件。本文末尾有完整代码和训练好的σ=15,25,50的DnCNN-S、σ∈[0,55]的DnCNN-B和CDnCNN-B、DnCNN-3共6个模型文件!读者可以自行下载!本文亮点:以官方Pytorch源代码为基础,在DnCNN-S的基础上,增添Dn......
  • C++——构造函数和析构函数
    一、初识构造函数和析构函数简单来说,有对象生成必然会调用构造函数,有对象销毁必然会调用析构函数。构造函数的作用是初始化成员变量,是由编译器去调用的,而析构函数同理也是由编译器调用,不过他的作用则是清理。可以由下面的代码体验两个函数的使用。注意:相同点:两个函数都没有......
  • 转义字符及例子
    转义字符简单来说就是转变原来字符的意思文章目录转义字符1.转义字符例子2.常用转义字符总览3.常用转义字符及例子3.1\?3.2\’3.3\“小拓展:3.4\\\3.5\a3.6\n3.7\r3.8\t3.9\ddd3.10\xdd1.转义字符例子1.例子代码用换行符来举例子#include<stdio.h>......
  • 了解VSCode:一款功能强大的开源代码编辑器
    VisualStudioCode(简称VSCode)是由微软开发的一款免费、开源的源代码编辑器。它以其强大的功能、丰富的插件生态系统、跨平台兼容性以及出色的用户体验,成为了广大开发者的首选工具。以下是对VSCode的详细介绍,涵盖其特点、功能、安装与配置、以及扩展生态等方面。一、VSCode的......
  • 搭建Java集成开发环境IntelliJ IDEA
    搭建Java集成开发环境(IntegratedDevelopmentEnvironment,简称IDE)IntelliJIDEA是一个涉及多个步骤的过程,旨在帮助Java开发者高效、舒适地进行编程工作。IntelliJIDEA由JetBrains公司开发,以其强大的代码自动补全、动态语法检测、重构功能以及对各种主流框架和前沿技术的深度支......