首页 > 其他分享 >关于Unet在扩散模型中的应用

关于Unet在扩散模型中的应用

时间:2024-05-09 22:56:03浏览次数:16  
标签:noise epsilon 模型 sqrt overline Unet alpha 扩散

Unet的输入是\((x_noise, t)\),其中\(x_noise\)是在时间步 \(t\) 时已经添加了噪声的图片,Unet的输出是在时间步\(t\)添加的噪声。该噪声是公式\(q(x_t|x_{t-1}) = \sqrt{\overline{\alpha_t}}x_0 + \sqrt{1-\overline{\alpha_t}} \epsilon\)中的\(\epsilon\),这并非是真实加入的噪声,但根据推导公式,求得随机采样的\(\epsilon\) 就可以推出\(x_t\)。在Unet网络中,通过确定\(t\)个\(\beta\)的值,再通过采样一个\(\epsilon\),就可以根据公式\(q(x_t|x_{t-1}) = \sqrt{\overline{\alpha_t}}x_0 + \sqrt{1-\overline{\alpha_t}} \epsilon\)得到\(x_{noise}\), 这个\(\epsilon\)是已知的,通过\(\epsilon_{\theta}=Unet(x_noise, t)\)得到估计的采样值,最终\(loss = MSE(\epsilon, \epsilon_{\theta})\)建模出\(\epsilon\)。

标签:noise,epsilon,模型,sqrt,overline,Unet,alpha,扩散
From: https://www.cnblogs.com/Jerez-Li/p/18183229

相关文章

  • thinkphp模型hasOne、hasMany、belongsTo详解
    在ThinkPHP框架中,hasOne、hasMany和belongsTo是用于定义模型间一对多(1:n)、一对一(1:1)和多对一(n:1)关联关系的方法。以下是一些简单的示例来解释这些关系:1.hasOne(一对一关系)假设我们有Author和Profile两个模型,一个作者(Author)有一个个人资料(Profile)://Author模型namespacea......
  • 基于改进Bert模型的夸夸聊天机器人(1)数据预处理篇
    目录项目概述数据预处理数据爬取数据清洗构建敏感词字典树去除不相关问题和回答去除敏感词去除HTML标签去除标点符号去除emoji去除夸夸词过滤长度转换格式项目概述该项目构建一个基于UniLM的生成式夸夸botUniLM是在微软研究院在BERT的基础上,最新产出的预训练语言模型,被称为......
  • YOLOv9改进 | 一文带你了解全新的SOTA模型YOLOv9(论文阅读笔记,效果完爆YOLOv8)
    https://snu77.blog.csdn.net/article/details/136230391 官方论文地址:官方论文地址点击即可跳转官方代码地址:官方代码地址点击即可跳转    图1.在MSCOCO数据集上实时对象检测器的比较。基于GELAN和PGI的对象检测方法在对象检测性能方面超越了所有以前的从头开始训练......
  • AWVS(acunetix) 安装详细教程
    一、软件介绍  AcunetixWebVulnerabilityScanner(简称AWVS)是一款知名的Web网络漏洞扫描工具,它通过网络爬虫测试你的网站安全,检测流行安全漏洞。AWVS官方网站是:http://www.acunetix.com/    软件有window版本,linux版本,还可以docker安装二、下载安装官方下载地址:http......
  • 如何写好Simulation证明(二): 半诚实模型下MPC的定义
    3.SecureComputation–SimulationforSemi-honestAdversaries我们在这里考虑的模型是staticsemi-honest敌手下的两方安全计算.这样的敌手能够在协议开始之前决定控制某一方,并且需要按照协议的描述执行.需要注意的是,这是一个非常弱的假设.如果敌手没有按照协议流......
  • 如何写好Simulation证明(三): 半诚实敌手模型下的OT
    4.ObliviousTransferforSemi-HonestAdversaries在本文中,我们将给出一个证明:基于enhancedOWP,构造一个半诚实敌手模型下的OT.首先我们先介绍enhancedOWP概念.4.1EnhancedOWP.对这个特殊的OWP我们先不做过多的解释,我们先关注参数.一般正式的定义中,一个OWP具......
  • 论文推荐:用多词元预测法提高模型效率与速度
    这是4月发表的论文《Better&FasterLargeLanguageModelsviaMulti-tokenPrediction》,作者们提出了一种创新的多词元预测方法,该方法在提高大型语言模型(LLMs)的样本效率和推理速度方面展示了显著优势。本文将对该论文进行详细的推荐和分析,探讨其理论贡献、实验设计以及对未来研......
  • text-generation-webui 推理模型Qwen1.5-7B-Chat相关报错问题解决
    推理代码text-generation-webui推理模型Qwen1.5-7B-Chatsysinfo nvcc--versioncuda11.8importtorch>>>print(torch.__version__)1路径错误2依赖没安装ImportError:Thismodelingfilerequiresthefollowingpackagesthatwerenotfoundinyourenvironme......
  • LLM 大模型学习必知必会系列(二):提示词工程-Prompt Engineering 以及实战闯关
    LLM大模型学习必知必会系列(二):提示词工程-PromptEngineering以及实战闯关prompt(提示词)是我们和LLM互动最常用的方式,我们提供给LLM的Prompt作为模型的输入,并希望LLM反馈我们期待的结果。虽然LLM的功能非常强大,但LLM对提示词(prompt)也非常敏感。这使得提示词工程成......
  • LLM 大模型学习必知必会系列(一):大模型基础知识篇
    LLM大模型学习必知必会系列(一):大模型基础知识篇魔搭ModelScope开源的LLM模型魔搭ModelScope欢迎各个开源的LLM模型在社区上做开源分享。目前社区上已经承载了来自各个机构贡献的不同系列的LLM模型。并且社区的开发者也在这些模型的基础上,贡献了许多创新应用,并在M......