相信大家已经感受到 AI 绘画的魅力，多多少少也可以自称半个「prompt 小专家」了，而在 AI 绘画的时候 Stable Diffusion 也会出现一些小瑕疵，比如 AI 不是灵魂画「手」，还有一些特别的肢体动作也不是普通人可以用语言描述清楚的。这个时候，就轮到 ControlNet 出场啦！
通过 ControlNet 技术，你添加额外条件来控制扩散模型的生成。它的原理简单来说是给预训练扩散模型增加一个额外的输入，以控制它生成的细节，这里的额外的输入，包括人体姿势、着色和风格化、草图、建筑物等，也就是可以通过给定的图片提取控制信息，以生成相对应的图片。
具体来说，我们可以:
将卡通绘图转化为逼真的照片，同时保持极佳的布局连贯性。
进行室内设计。
| 原图 | 新图 |
|---|---|
 |
 |
将涂鸦草图变成艺术作品。
| 原图 | 新图 |
|---|---|
 |
 |
甚至拟人化著名的 logo 形象。
| 原图 | 新图 |
|---|---|
 |
 |
ControlNet，让一切皆有可能
标签：ControlNet,微调,社区,冲刺,TPU,diffusers,活动 From： https://www.cnblogs.com/huggingface/p/17285990.html