首页 > 其他分享 >2024不可不会的StableDiffusion

2024不可不会的StableDiffusion

时间:2024-09-06 09:53:35浏览次数:12  
标签:diffusion 不可 图像 生成 2024 stable StableDiffusion 模型 SD

这是我在学习 StableDiffusion (稳定扩散模型 简称SD)的第一篇入门文章,主要用于介绍稳定扩散模型和该领域的其他研究。在本文中,我想简要介绍一下如何使用Diffusers扩散库,来创建自己生成图像。
闲话少说,我们直接开始吧!

2. SD功能介绍

简单来说,稳定扩散模型是一种可以在给定文本提示词的情况下生成图像的深度学习模型。将其进行抽象,其主要实现的功能如下:

img

正如我们从上面的图像中看到的那样,我们可以传递一个输入的文本提示,如“戴帽子的狗”,此时稳定的扩散模型可以生成代表文本语义的图像。是不是很神奇?

3. 准备工作

在开始之前,我们首先来安装我们必要的python库,使用以下命令进行安装:

pip install --upgrade diffusers transformers

如果联网环境下,一般使用huggingface_hub来在线下载相应的模型权重,考虑到受限于网络原因、,加之这些生成式模型又多又大,不绿色上网的话,速度超级感人,不得不吐槽下。基于上述原因,建议将其下载到本地进行操作,同时推荐一个国内的宝藏镜像源网站,速度嘎嘎快,网址:

hf-mirror.com - Huggingface 镜像站hf-mirror.com/

这里我们下载模型 CompVis/stable-diffusion-v1-4 ,如下:

img

下载上述文件到本地任意目录即可,当然也可以下载最火的runwayml/stable-diffusion-v1-5,原理类似,不在累述。

4. 运行DEMO

首先第一步工作就是从Diffusers库中,导入我们文生图的Pipeline,代码如下:

from diffusers import StableDiffusionPipeline

接下来我们来初始化我们的Pipeline。由于之前我们已经将模型从线上服务器下载到本地机器。此时我们需要一台GPU机器来能运行以下初始化代码。

sd_path = r'/media/stable_diffusion/CompVis/stable-diffusion-v1-4'
pipe = StableDiffusionPipeline.from_pretrained(sd_path,local_files_only=True,
                                                torch_dtype=torch.float16).to('cuda')

由于我们是加载本地模型,所以我们将参数local_files_only设置为True。现在我们可以传递一个文本提示来生成一个图像了,代码如下:

prompt = 'a dog wearing hat'
img = pipe(prompt).images[0]
plt.imshow(img)
plt.show()

得到结果如下:

img

可以看到,生成的图像还是很逼真的。

参考链接

本文涉及的相关参考链接如下:

[1] huggingface:

Hugging Face – The AI community building the future.huggingface.co/img

[2] huggingface镜像站:

hf-mirror.com - Huggingface 镜像站hf-mirror.com/

[3] Diffusers官方文档:

Diffusershuggingface.co/docs/diffusers/indeximg

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

在这里插入图片描述

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

在这里插入图片描述

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

在这里插入图片描述

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

在这里插入图片描述

5.SD从0到落地实战演练

在这里插入图片描述

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!请添加图片描述

标签:diffusion,不可,图像,生成,2024,stable,StableDiffusion,模型,SD
From: https://blog.csdn.net/m0_71745754/article/details/141815220

相关文章