2024不可不会的StableDiffusion（一）

1. 引言

这是我在学习 StableDiffusion (稳定扩散模型 简称SD)的第一篇入门文章，主要用于介绍稳定扩散模型和该领域的其他研究。在本文中，我想简要介绍一下如何使用Diffuser扩散库，来创建自己生成图像。下一篇文章，我们将深入研究这个库的各级组件。 闲话少说，我们直接开始吧！

2. SD功能介绍

简单来说，稳定扩散模型是一种可以在给定文本提示词的情况下生成图像的深度学习模型。将其进行抽象，其主要实现的功能如下：

正如我们从上面的图像中看到的那样，我们可以传递一个输入的文本提示，如“戴帽子的狗”，此时稳定的扩散模型可以生成代表文本语义的图像。是不是很神奇？

3. 准备工作

在开始之前，我们首先来安装我们必要的python库，使用以下命令进行安装：

pip install --upgrade diffusers transformers

如果联网环境下，一般使用huggingface_hub 来在线下载相应的模型权重，考虑到受限于网络原因、，加之这些生成式模型又多又大，不绿色上网的话，速度超级感人，不得不吐槽下。基于上述原因，建议将其下载到本地进行操作，同时推荐一个国内的镜像源网站，网址链接，速度嘎嘎快：

这里我们下载模型 CompVis/stable-diffusion-v1-4 ，如下：

下载上述文件到本地任意目录即可，当然也可以下载最火的runwayml/stable-diffusion-v1-5，原理类似，不在累述。

4. 运行DEMO

首先第一步工作就是从Diffuser库中，导入我们文生图的Pipeline，代码如下：

from diffusers import StableDiffusionPipeline

接下来我们来初始化我们的Pipeline。由于之前我们已经将模型从线上服务器下载到本地机器。此时我们需要一台GPU机器来能运行以下初始化代码。

sd_path = r'/media/stable_diffusion/CompVis/stable-diffusion-v1-4'
pipe = StableDiffusionPipeline.from_pretrained(sd_path,local_files_only=True,
                                                torch_dtype=torch.float16).to('cuda')

由于我们是加载本地模型，所以我们将参数local_files_only设置为True。现在我们可以传递一个文本提示来生成一个图像了，代码如下：

prompt = 'a dog wearing hat'
img = pipe(prompt).images[0]
plt.imshow(img)
plt.show()

得到结果如下：

可以看到，生成的图像还是很逼真的。

5. 小结

本文重点介绍了StableDiffusion的相关功能以及使用diffusers库来进行相应的文生图的实现，同时介绍了如何离线跑SD模型。在接下来的文章里，我们会将重点放在将SD模型拆成各个组件，来依次介绍每个组件的核心原理和具体功能。

嗯嗯，您学废了嘛！

6. 参考链接

本文涉及的相关参考链接如下：

[1] huggingface： 戳我

[2] huggingface镜像站：戳我

[3] Diffusers官方文档: 戳我