首页 > 其他分享 >ControlNet

ControlNet

时间:2024-05-16 09:42:57浏览次数:21  
标签:线稿 控制 ControlNet AI 生成 图像

ControlNet 是一个用于控制 AI 图像生成的插件。它使用了一种称为"Conditional Generative Adversarial Networks"(条件生成对抗网络)

的技术来生成图像。与传统的生成对抗网络不同,ControlNet 允许用户对生成的图像进行精细的控制。这使得 ControlNet 在许多应用场景中非常有用,
例如计算机视觉、艺术设计、虚拟现实等等。总之,ControlNet 可以帮助用户精准控制 AI 图像的生成,以获得更好的视觉效果。

在 ControlNet 出现之前,我们在生成图片之前,永远的不知道 AI 能给我们生成什么,就像抽卡一样难受。

ControlNet 出现之后,我们就能通过模型精准的控制图像生成,比如:上传线稿让 AI 帮我们填色渲染,控制人物的姿态、图片生成线稿等等

地址 https://huggingface.co/lllyasviel/ControlNet/tree/main/models 也可以选择去国内网站下载,魔塔,liblib

标签:线稿,控制,ControlNet,AI,生成,图像
From: https://www.cnblogs.com/qcy-blog/p/18195322

相关文章

  • sd+ebsynth_utility扩展+controlNet实现视频换风格
    1.安装sd,安装EbSynth(https://ebsynth.com/)2.安装扩展:https://github.com/Mikubill/sd-webui-controlnethttps://github.com/s9roll7/ebsynth_utility3.下载模型基础模型选用c站:https://civitai.com/models/104100?modelVersionId=155254 下载放置sd扩展path/to......
  • 在stable diffusion中如何分辨lora、大模型、controlnet
     LoRA(LowRankAdaptation)StableDiffusionLoRA是微软的研究人员为了解决大语言模型微调而开发的一项技术,它是一个多模态语言-图像模型,LORA可以学习将其语言表征迁移到图像modal中从而获得跨模态语义一致的表示。LoRA模型是Stable-Diffusion中的一个插件,仅需要少......
  • ControlNet学习实战1--字体海报
    最近玩AI绘画的过程中,突然发现了一个可以生成特点字体海报的技巧,特此记录学习一下。本片文章介绍大家制作一张2024龙年海报。ControlNet介绍ControlNet是一个应用于Stable_diffusion一个插件,该插件可以让AI更加精准的生成准确的想要的图片,关于这些内容后期会专门更加细致的说明......
  • ControlNet-trt优化总结4:onnx图修改与重建
    ControlNet-trt优化总结4:onnx图修改与重建在这一节中,主要总结网络层面的优化,针对于算子插件优化,主要聚焦于以下几点:修改onnx图,添加不支持的算子插件增加前后处理部分,前后处理导出为onnx图onnx图surgeon原有的graph中存在大量的GN操作,正常fp32的时候没有问题,但是当使用fp16......
  • ControlNet-trt优化总结3:使用multi-stream和cuda-graph构建并行流水线
    ControlNet-trt优化总结3:使用multi-stream和cuda-graph构建并行流水线上节谈到使用TRT-API来构建网络,在这一节中总结一些trick来提升模型的运行效率,这些trick在所有的trt优化中均可使用,主要有以下几点:使用cuda_graph减少kernel间的启动间隙使用Mutil-stream增加异步cuda_gra......
  • ControlNet-trt优化总结2:使用TRT-API从零构建ControlNet网络
    ControlNet-trt优化总结2:使用TRT-API从零构建ControlNet网络在上节讲到,可以通过手动搭建trt网络的方式来重新构造controlnet网络,这样可以避免onnx中间转换过程中的精度损失,也可避免onnx中间转化时的算子被拆解的细碎的情况,对于不支持的算子,也可通过添加插件的方式添加不支持的算......
  • Stable Diffusion基础:精准控制之ControlNet
    在AI绘画中精确控制图片的生成是一件比较困难的事情,炼丹师们经常需要大量抽卡才能得到一张满意的图片,不过随着ControlNet的诞生,这一问题得到了很大的缓解。ControlNet提供了十几种控制网络模型,有的可以控制画面的结构,有的可以控制人物的姿势,还有的可以控制图片的画风,这对于提......
  • Stable Diffusion基础:ControlNet之重新上色(黑白照片换新颜)
     本文给大家分享StableDiffusion的基础能力:ControlNet之重新上色。这是一个最近新上的ControlNet模型,它可以识别图像中的不同区域,并使用不同的颜色重新绘制它们。安装ControlNet安装工欲善其事必先利其器,ControlNet还是先要安装好的,已经安装好的请跳过这一步。......
  • Stable Diffusion基础:ControlNet之人体姿势控制
    在AI绘画中精确控制图片是一件比较困难的事情,不过随着ControlNet的诞生,这一问题得到了很大的缓解。今天我就给大家分享一个使用StableDiffusionWebUI+OpenPoseControlNet复制照片人物姿势的方法,效果可以参考上图。OpenPose可以控制人体的姿态、面部的表情,有时候还能......
  • Stable Diffusion 的 ControlNet 扩展
    本文介绍如何安装ControlNet扩展?和ControlNet的模型安装,同时给了两个例子。一、ControlNet扩展安装进入StableDiffusion界面,点击扩展标签,选择从URL安装,然后输入ControlNet网址(https://github.com/Mikubill/sd-webui-controlnet),粘贴到对应的地方,然后点击安装。完成......