首页 > 其他分享 >恶补AI之Stable Diffusion

恶补AI之Stable Diffusion

时间:2023-03-31 23:59:44浏览次数:45  
标签:Diffusion 编码器 恶补 AI 模型 图像 Stable 文本

以下内容 , 由 ai (gpt4)辅助创作。

Stable Diffusion的同类产品?

了解了,您是在询问关于Stable Diffusion这款文本到图像生成模型的竞争产品。基于您的描述,这是一款基于深度学习的图像生成模型,利用了潜在扩散技术和CLIP文本编码器。以下是一些与Stable Diffusion类似或具有竞争性的模型:

  1. DALL-E: 由OpenAI开发,DALL-E是一款文本到图像生成模型,使用了GPT-3模型的变体。通过接受文本提示,DALL-E可以生成具有高度创意和复杂度的图像。

  2. BigGAN: 由DeepMind开发,BigGAN是一款生成对抗网络(GAN)模型,可以生成高分辨率和高质量的图像。BigGAN并不直接接受文本提示,但可以与文本编码器结合使用以实现文本到图像生成。

  3. StyleGAN/StyleGAN2: 由NVIDIA研究团队开发,StyleGAN和StyleGAN2是用于生成高质量图像的GAN模型。与BigGAN类似,这些模型可以与文本编码器结合使用以实现文本到图像生成。

  4. VQ-VAE / VQ-VAE-2: 这些是基于矢量量化变分自动编码器(VQ-VAE)的模型,由DeepMind开发。虽然这些模型主要用于无监督学习和图像压缩任务,但它们也可以与文本编码器结合使用以实现文本到图像生成。

这些模型可能与Stable Diffusion具有不同程度的竞争性。请注意,由于Stable Diffusion是一款新型模型,其在实际应用和性能方面可能与上述模型存在差异。在选择合适的模型时,请务必根据您的需求和资源来权衡。

Stable Diffusion(https://github.com/CompVis/stable-diffusion

来自官方的简单介绍:

Stable Diffusion是一种潜在的文本到图像扩散模型。得益于Stability AI的慷慨计算资源捐赠以及LAION的支持,我们得以在LAION-5B数据库的一个子集上训练512x512分辨率的潜在扩散模型。与谷歌的Imagen类似,该模型使用冻结的CLIP ViT-L/14文本编码器,根据文本提示对模型进行条件化处理。凭借其860M参数的UNet和123M参数的文本编码器,这个模型相对轻量,并且可以在至少具有10GB显存的GPU上运行。请参阅下面的章节以及模型说明卡。

Stable Diffusion v1指的是一种特定配置的模型架构,它采用了一个下采样因子为8的自动编码器,具有860M参数的UNet和CLIP ViT-L/14文本编码器作为扩散模型。该模型首先在256x256分辨率的图像上进行预训练,然后在512x512分辨率的图像上进行微调。

注意:Stable Diffusion v1是一种通用的文本到图像扩散模型,因此会反映其训练数据中存在的偏见和(误)概念。关于训练过程、数据以及模型的预期用途的详细信息,请参阅相应的模型说明卡。

模型权重可以通过Hugging Face上的CompVis组织获得,其许可证包含特定的基于使用限制的规定,以防止模型卡片中提到的误用和损害,但在其他方面仍然具有许可性。虽然许可证条款允许商业使用,但我们不建议在没有额外安全机制和考虑的情况下,将提供的权重用于服务或产品,因为权重存在已知的局限性和偏见,而且关于通用文本到图像模型的安全和道德部署的研究仍在进行中。权重是研究成果,应作为研究成果对待。

CreativeML OpenRAIL M许可证是一种Open RAIL M许可证,它改编自BigScience和RAIL计划在负责任的人工智能许可领域的共同工作。关于我们的许可证依据的BLOOM Open RAIL许可证,请参阅相关文章。

省略 Weights 的部分

Stable Diffusion is a latent diffusion model conditioned on the (non-pooled) text embeddings of a CLIP ViT-L/14 text encoder. We provide a reference script for sampling, but there also exists a diffusers integration, which we expect to see more active community development.

 

标签:Diffusion,编码器,恶补,AI,模型,图像,Stable,文本
From: https://www.cnblogs.com/xkxf/p/17277844.html

相关文章

  • 【Azure 应用服务】在创建App Service时,遇见“No available instances to satisfy thi
    问题描述在创建新的AppService,遇见了资源不满足当前需求的提示。详细消息为:"Code":"Conflict","Message":"Noavailableinstancestosatisfythisrequest.AppServiceisattemptingtoincreasecapacity.Pleaseretryyourrequestlater.Ifurgent,thi......
  • 《花雕学AI》03:我最早接触的人工智能应用,还是要从AI绘画说起
    AI绘画是指利用人工智能技术,根据输入的文本或图片,生成逼真或有创意的图像的过程。AI绘画有很多不同的软件和平台,可以让用户体验到AI的魅力和趣味。AI绘画的历史可以追溯到上世纪70年代,当时一位艺术家哈罗德·科恩开发了一个电脑程序AARON,可以进行绘画创作。4随着计算机技术和深......
  • restHighLevelClient 操作报错:listener timeout after waiting for [30000] ms
     java.io.IOException:listenertimeoutafterwaitingfor[30000]msatorg.elasticsearch.client.RestClient$SyncResponseListener.get(RestClient.java:905)atorg.elasticsearch.client.RestClient.performRequest(RestClient.java:229)atorg.elasti......
  • linux ftp服务器报错:425 Data Connection Failed.的解决方法
    原先我写的脚本:然后会出现450错误  修改后的脚本: 再操作前,增加passive一条语句就解决了。参考博客:https://www.codenong.com/cs106853176/    ......
  • php Trait基类use trait,本类不use
    一回顾trait使用https://blog.csdn.net/bushuwei/article/details/103514174发现之前本人说明很模糊,自己居然不知道为什么其实这里的$c,就是classB再次回顾逻辑二分析self和static区别说的没毛病Trait基类usetrait,本类不use。那么如果用的newself,则你new出来的就是......
  • 打工人都在用的AI工具(第二期)
    更多精彩内容,欢迎关注公众号:数量技术宅,也可添加技术宅个人微信号:sljsz01,与我交流。上周更新的打工人都在用的AI工具(第一期)收到了小伙伴们的高度好评,于是很多小伙伴们急急忙忙的催更,技术宅们也马不停蹄的张罗。那么距离上周发文过后,市面上又出来了哪些好玩又实用的AI小工具呢?本......
  • QMainWindow知识点记录
    1.新建action toolbaropenFileAction = new QAction(QIcon(":/pic/open"), QString::fromLocal8Bit("打开"), this); openFileAction->setShortcut(tr("Ctrl+O")); openFileAction->setStatusTip(tr("打开一个文件"));-------......
  • AI视频智能分析平台EasyCVR设备录像功能细节优化
    EasyCVR视频融合平台基于云边端一体化架构,具有强大的数据接入、处理及分发能力,平台支持海量视频汇聚管理,可支持多协议接入,包括市场主流标准协议与厂家私有协议及SDK,如:国标GB28181、RTMP、RTSP/Onvif、海康Ehome、海康SDK、宇视SDK等(具体见下图)。平台丰富的视频能力包括:视频监控直......
  • 关于python 的if __name__ == "__main__"的模块测试
    if__name__=="__main__"也就是说执行当前文件,不调用模块的时候__name__=__main__调用模块的时候,测试如下:1、新建test01.py文件测试代码如下print("这条消息来自test01")deffunc():print('hello,world!***')print("这条消息来自func")if__name__=="__......
  • portainer-ce
    1》搜索镜像:dockersearchsummary/portainer-ce  2》拉取镜像:dockerpullsummary/portainer-ce3》启动镜像:dockerrun-d--name=portainer-ce-p9000:9000--restart=always-v/var/run/docker.sock:/var/run/docker.sock-v/data/portainer:/datasummary/po......