首页 > 其他分享 >文生图的基石CLIP模型的发展综述

文生图的基石CLIP模型的发展综述

时间:2024-03-22 11:33:23浏览次数:30  
标签:Diffusion CLIP 综述 文生 模型 图像 文本

CLIP的英文全称是Contrastive Language-Image Pre-training,即一种基于对比文本-图像对的预训练方法或者模型。CLIP是一种基于对比学习的多模态模型,CLIP的训练数据是文本-图像对:一张图像和它对应的文本描述,这里希望通过对比学习,模型能够学习到文本-图像对的匹配关系。

Open AI在2021年1月份发布的DALL-E和CLIP,这两个都属于结合图像和文本的多模态模型,其中DALL-E是基于文本来生成模型的模型,而CLIP是用文本作为监督信号来训练可迁移的视觉模型。

而Stable Diffusion模型中将CLIP文本编码器提取的文本特征通过cross attention嵌入扩散模型的UNet中,具体来说,文本特征作为attention的key和value,而UNet的特征作为query。也就是说CLIP其实是连接Stable Diffusion模型中文字和图片之间的桥梁。

CLIP

这是OpenAI在21年最早发布的论文,要想理解CLIP,我们需要将缩略词解构为三个组成部分:(1)Contrastive ,(2)Language-Image,(3)Pre-training。

 

https://avoid.overfit.cn/post/c98007d44f244cb6b875df25d759065d

标签:Diffusion,CLIP,综述,文生,模型,图像,文本
From: https://www.cnblogs.com/deephub/p/18089104

相关文章

  • 多机器人协同SLAM论文解读系列1——多机器人协同导航技术综述
    多机器人协同导航技术综述期刊:无人系统技术(综合影响因子2.018)第一作者:张辰Content多机器人协同定位技术概率估计方法优化方法地图匹配方法多机器人路径规划技术耦合式方法解耦式方法多机器人任务分配技术基于行为的分配方法市场机制方法群体智能方法人......
  • 多机器人协同SLAM论文解读系列1——多机器人协同导航技术综述
    多机器人协同导航技术综述期刊:无人系统技术(综合影响因子2.018)第一作者:张辰Content多机器人协同定位技术概率估计方法优化方法地图匹配方法多机器人路径规划技术耦合式方法解耦式方法多机器人任务分配技术基于行为的分配方法市场机制方法群体智能方法人......
  • DA-CLIP关于使用BLIP生成数据集的代码注释
    背景:BLIP:DA-CLIP需要的目标: 为了在混合的退化数据集上训练DA-CLIP,作者使用引导式视觉语言框架BLIP为所有HQ图像生成描述。从HQ图像生成的描述是准确的,不传递退化信息。 然后,我们可以直接将这些干净的标题、LQ图像和相应的退化类型结合起来,构建图像-文本-退化类型......
  • Clip-跳过
    在StableDiffusion1.x模型中,CLIP用作文本嵌入。CLIP模型由多层组成。他们一层一层地变得更加具体。过于简单化,第一层可以理解“人”,第二层可以区分“男性”和“女性”,第三层可以区分“男人”,“男孩”,“小伙子”等。您可能希望停在较早的CLIP层以使提示更加模糊。如果您想......
  • WinClip非官方复现代码学习笔记2
    一、数据集加载1.数据集放置将下载的数据集解压到datasets文件夹的下面,方便后续操作。2.数据集预处理数据集预处理针对两个数据集给了两个不同的预处理指令,我测试了VISA数据集,以下是我对VISA数据集的实例。1.datasets/prepare_visa_public.py文件配置打开这个文件,第1......
  • 毕业设计——基于facenet实时人脸识别系统的设计与实现+源码+综述
    如需完整源码,可以联系博主获取技术路径:opencv+mtcnn+facenet+python+tensorflow,实现局域网连接手机摄像头,对目标人员进行实时人脸识别一、引言随着信息技术的飞速发展,人脸识别技术已成为身份验证、安全监控等领域的核心技术之一。实时人脸识别系统,以其高效、准确的特点,......
  • 使用 Keras 的 Stable Diffusion 实现高性能文生图
    前言在本文中,我们将使用基于KerasCV实现的StableDiffusion模型进行图像生成,这是由stable.ai开发的文本生成图像的多模态模型。StableDiffusion是一种功能强大的开源的文本到图像生成模型。虽然市场上存在多种开源实现可以让用户根据文本提示轻松创建图像,但Keras......
  • Eclipse未正常关闭tomcat服务器导致的端口占用错误
    1.问题Severalports(8005,8080,8009)requiredbyCookiearealreadyinuse.Theservermayalreadyberunninginanotherprocess,orasystemprocessmaybeusingtheport.Tostartthisserveryouwillneedtostoptheotherprocessorchangetheportn......
  • DALLE2: Hierarchical Text-Conditional Image Generation with CLIP Latents
    名称DALLE2:HierarchicalText-ConditionalImageGenerationwithCLIPLatents也叫UnCLIP时间:22.04机构:OpenAITL;DROpenAI的首篇从CLIP的imageembedding生成图像的方法,实验证明这种方法生成的图像能够保留丰富的语义与风格分布。MethodPriorPrior模块作用是给定tex......
  • Maven Archetype自定义工程模板(Eclipse中,其他IDE同理)
    1.问题在Eclipse中,我们想创建一个web项目,使用web-app脚手架进行创建,但是里面的模板并不是我们想要的比如我想自定义pom.xml里面的内容,设定jdk版本,groupID等等,配置Web项目基本依赖以及我想要设置一个基本的index.jsp(符合基本模板的)和web.xml中设置web-app的版本为3.1......