首页 > 其他分享 >Stable Diffusion 小白的入坑铺垫

Stable Diffusion 小白的入坑铺垫

时间:2024-08-31 20:53:33浏览次数:8  
标签:Diffusion 铺垫 AI comfyui webui Stable SD

小白的 Stable Diffusion 入坑铺垫

本文主要讲述一些 Stable Diffusion 入坑前需要了解的一些相关概念,不会涉及很高深的理论知识,因为我也讲不明白。本文所讲的内容基本上小学生就能看懂。如果你完全没听说过 Stable Diffusion 也没关系,只要你听说过 AI 绘画,并且对此有兴趣,就能跟着我一步步了解入坑。如果你想更进一步了解更深层次的计数原理,本文后面会给出一些连接,都是我看过的比较不错的文章或者视频。

一、AIGC 的概念

2022年,是人工智能爆发的元年,前有 Stability.Ai 公司开源了 Stable Diffusion 模型,后有 Open AI 发布了 ChatGPT,二者都是 AI 领域发展的里程碑式的事件。它们让 AI 不再是科研学术领域专属的高深莫测的技术名词,而是真真实实让普通人触手可及,提高生产效率的智能工具。
那 AIGC 是什么呢,AIGC (Artificial Intelligence Generative Content),即人工智能生成内容。这个领域的比较宽泛,生成的内容可以是文本,图像,音频,视频等等。机器可以跟人一样,能够看到、听到、思考、判断,然后做出决策,生成上述内容。比如前面提到的 ChatGPT 就是 AIGC 领域的一个具体应用。
本文接下来将围绕 Stable Diffusion 来介绍。

二、Stable Diffusion

Stable Diffusion, 潜在的扩散模型,是一种深度学习文本到图像生成模型,它主要根据文本描述生成图像。简单来说是一种文生图的算法。由 Stability.Ai 开源。

Stable Diffusion 和 Midjourney

目前市面上比较权威,并且能真正用于工作中的 AI 绘画软件,其实就两款,一个是 Midjourney(简称MJ),另一个就是 Stable Diffusion(简称 SD),MJ 需要付费使用,使用起来相对简单。而SD开源免费,但是上手难度和学习成本略大,并且对电脑配置有一定要求。

两者在实际使用中也各有利弊,从大的方面来讲,MJ 在生图图片时更具想象力,生成图片的在细节上略优于 SD,商业服务完善,助力艺术创作。SD 比 MJ 拥有更加丰富的个性化体验,使用者可以进行更精细的调教,以此生成更贴近需求的图片。得益于 SD 的开源,全世界的开发者和爱好者都可以参与进来,SD 拥有非常活跃的社区,非常丰富好用的自定义插件,甚至 SD 在 AI 生成视频特效、音乐生成等领域也有所建树。

三、Stable Diffusion 对电脑配置的要求

电脑配置最核心的配件,是 CPU、显卡、内存、硬盘。一般在 AIGC 领域,最重要的还要数显卡,很多 AI 应用只支持 N 卡(英伟达 Nvidia 独立显卡)。使用 Stable Diffusion 最常用的两种方式有两种 webui 和 comfyui 。其中 webui 对电脑显卡的要求最低 10 系起步,体验感佳 40 系。其中显存大小也很重要,最低 4G, 6G 及格,内存最低 8G, 16G 及格,硬盘空间最好有 500G 以上,固态硬盘最佳。而如果使用 comfyui,则对电脑配置要求更低,最低 3G 显存可用,出图速度也更快。

重要的事强调一遍:显卡最重要,尽量选 N 卡,支持 Cuda,显存也重要。显卡计算能力强弱,只是出图时间长短的问题,显存不够,直接就玩不了。

详细的数据对比,大家可以到各大论坛,或者 Nvidia 官网了解。

四、概念理解

我自己在学习过程中,经常看到有一些刚入门的小伙伴,问 Stable Diffusion 和 Comfyui 学哪个。实际上,这个问题本身就是错误的。提问的人没有分清楚一些基本概念。

前面讲到,Stable Diffusion 是一种扩散模型。常见的使用方法有 webui 和 comfyui 两种方式。
webui 使用界面如下:

comfyui 使用界面如下:

相比之下,webui 更适合新手入门,所有操作在界面上一目了然,上手起来很容易。而 comfyui 是工作流模式,需要添加各种节点,并将它们用线连起来,更符合 stable diffusion 的工作流流向,如果你对深入学习 stable diffusion 有兴趣,可以选择 comfyui,另外 comfyui 可以保存成 json 文件,用来复用,comfyui 生成的图片中默认也包含完整的工作流信息,可以将工作流 json 文件,或者由 comfyui 生成的图片直接拖入 comfyui 中,还原整个工作流。
webui 比较稳定了,迭代更新速度也较慢,而 comfyui 目前几乎每天都会有新版本。具体使用哪个,看个人意愿。
这里只要是澄清,无论是 webui 还是 comfyui 都是上层的应用形式,stable diffusion 只是一种模型。比如近期非常火爆的一种新的文生图模型 Flux,它也是可以在 webui 种运行。

五、 结尾放图

首先给出一些学习过程中我认为非常好的资料连接:
7000字详解!幼儿园都能看懂的 Stable Diffusion 工作原理

Stable Diffusion 维基百科

B站秋葉大佬的视频



目前来看,Stable Diffusion 能做的工作相当多,比如,模特换装,照片放大,局部重绘等等,感兴趣的朋友可以认真学习一下。

标签:Diffusion,铺垫,AI,comfyui,webui,Stable,SD
From: https://www.cnblogs.com/joy99/p/18390751

相关文章

  • 刚刚!Stable Diffusion 4.9更新,Ai绘画最强工具来了!(无需安装,解压即用)
    2024可以称得上是Ai技术大爆发的元年,目前两款Ai神器大火,一款是大名鼎鼎的ChatGPT。另外一款大火的是本期强哥介绍的Ai绘图软件—StableDiffusion。8月StableDiffusionAi绘画最新版本更新啦!此次从4.8.7更新至4.9版本!主要是更新优化和大模型增加,无需复杂的部署,解压即......
  • 保姆级 Stable Diffusion 教程(附整合包),看完这篇就够了!
    2022年8月,在美国科罗拉多州举办了一场新兴数字艺术家竞赛,一幅名为《太空歌剧院》的作品获得“数字艺术/数字修饰照片”类别的一等奖,神奇的是,该作品的作者并没有绘画基础,这幅画是他用AI生成的。这一事件展示了AI在绘画领域惊人的创造力,让人们见识到,AI作品不仅可以......
  • 一次了解所有功能!超详细Stable Diffusion界面大揭秘!(附安装攻略整合包)
    对于AI绘画的初学者而言,一看到SD的UI界面肯定是一脸懵,因为有太多陌生词汇,什么大模型、什么提示词、什么什么采样迭代,和传统的画图方式完全不在一个层面上,学习起来就无从下手~今天老师就给大家详细做一个介绍,一起来学吧~01模型设定菜单栏①StableDiffusion模型:出图的基......
  • [Paper Reading] ControlNet: Adding Conditional Control to Text-to-Image Diffusio
    ControlNet:AddingConditionalControltoText-to-ImageDiffusionModelslink时间:23.11机构:StandfordTL;DR提出ControlNet算法模型,用来给一个预训练好的text2image的diffusionmodel增加空间条件控制信息。作者尝试使用5w-1M的edges/depth/segmentation/pose等信息训练Co......
  • DynamiCrafter:Animating open-domain images with video diffusion priors
    1.Method图像条件视频生成,1.1ImageDynamicsfromVideoDiffusionPriors1.1.1文本对齐的上下文表征文本嵌入通过clip构建,图像通过clip编码,主要代表语义层面的视觉内容,未能捕获图像的完整信息,为了提取更完整的信息,使用来自clip图像vit最后一层的全视觉标记,该token在条......
  • Stable diffusion难题攻克——提示词写作!手把手教你 !(附提示词库)
    解锁AI艺术创作的密码,让你的AI图像生成作品脱颖而出!StableDiffusion最强提示词手册StableDiffusion介绍OpenArt介绍提示词(Prompt)工程介绍…第一章、提示词格式提问引导示例单词的顺序…有需要的朋友,可以点击下方卡片免费领取!第二章、修饰词(Modifiers)Photog......
  • Diffusion反馈强势助力CLIP秒变火眼金睛:北京智源研究院、中科院自动化所联合推出DIVA
    前言 本文分享论文DiffusionFeedbackHelpsCLIPSeeBetter,专注于通过自监督学习范式解决CLIP无法区分细粒度视觉细节的问题。欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。本文转载自我爱计算机视觉仅用于学术分享,若侵权......
  • Stable Diffusion学习-提示词基本语法
    提示词正面提示词AChinesemanwearingagreencottoncoatandredhairisinthecorridoroftheForbiddenCity,sunnyat8:00amduringtheday,一名身穿绿色棉布外套、红发的中国男子在紫禁城的走廊上,白天阳光明媚,(masterpiece:1,2),bestquality,highres,......
  • Stable Diffusion 系列教程 - 3 模型下载和LORA模型的小白入门
    前言**首先,一个比较广泛的模型下载地址为黄框是一些过滤器,比如checkpoints可以理解为比如把1.5版本的SD模型拷贝一份后交叉识别新的画风或场景后得到的模型,可以单独拿出来使用。Hypernetwork和lora在特定场景下都非常好用。我们以majicMIXrealistic麦橘写实模型为例子......
  • Stable Diffusion学习-提示词学习(一)
    image提示词一个男孩,在校园里,打篮球,Aboy,insidetheschoolyard,playingbasketball,正面提示词后请添加:(masterpiece:1,2),bestquality,highres,original,extremelydetailedwallpaper,perfectlighting,(extremelydetailedCG:1.2),负面提示词后请添加:NSFW,(w......