变分自编码器（VAE，VariationalAuto-Encoder）是一种生成模型，它通过学习数据的潜在表示来生成新的样本。在学习潜空间时，需要保持生成样本与真实数据的相似性，并尽量让潜变量的分布接近标准正态分布。VAE的基本结构：1.编码器（Encoder）：将输入数据转换为潜在空间的分布，输出潜在变量的均值

本文正文字数约8300字，阅读时间20分钟。如果按照文章实操一遍，预计时间在半小时到两小时不等。我还是推荐在自己电脑上自行搭建一套GUI（也就是用户图形界面）来学习和使用StableDiffusion，也就是本文即将介绍的ComfyUI。本文将为你提供一份全面的ComfyUI入门指南，涵盖

图1描述了StableDiffusion模型的发展历程，从最初的AE(AutoEncoder)，逐步发展到DDPM、VQVAE、LDM，并最终产生了StableDiffusion。从技术路线上看，StableDiffusion由2条技术路线汇聚而成，一条是路线1：AE->VAE->DDPM，另一条是路线2：AE->VQVAE->LDM。路线1主要解决生成图像质

   工业上的质检领域，是AI的一个重要应用方向，主要是计算机视觉CV的主攻方向。   图1描述了深度学习技术路线的发展简图，AI质检领域主要使用卷积神经网络(CNN)提取工业场景下的视频或图像特征，然后做分类、检测、分割、目标追踪等任务。图1深度学习技术发展简图  

前言如果你看过别人的工作流，很有可能会发现每个人用的都不一样，如果不搞清楚其中的根本思想，总会有种不踏实的感觉，好像会用了，又好像不会。本文就来介绍一下ComfyUI中的局部重绘的三种基础方法。局部重绘的三种思想首先介绍一下局部重绘的三种方法：分别是VAE内补编码器、设置

创作不易，您的打赏、关注、点赞、收藏和转发是我坚持下去的动力！基于已有的药物数据生成新的药物分子是一项复杂的任务，通常涉及到生成模型和机器学习算法。以下是一些常用的算法和方法：1.生成对抗网络(GANs)特点:由生成器和判别器两个神经网络组成，生成器生成新分子，判别

DiffusionModels视频生成前言：目前开源的DiT视频生成模型不是很多，Open-Sora是开发者生态最好的一个，涵盖了DiT、时空DiT、3DVAE、RectifiedFlow、因果卷积等Diffusion视频生成的经典知识点。本篇博客从Open-Sora的代码出发，深入解读背后的原理。目录3DVAE原理代码剖析

一、AE自编码器自编码器模型结构图编码器网络可以将原始高维网络转换为潜在的低维代码解码器网络可以从低维代码中恢复原始数据，并且可能具有越来越大的输出层自编码器针对从代码重建数据进行了显式优化。一个好的中间表示不仅可以捕获潜在变量，而且有利于完整的解

一：马尔可夫链（一）什么是马尔可夫链又称离散时间马尔可夫链，那就是某一时刻状态转移的概率只依赖于它的前一个状态。举个简单的例子，假如每天的天气是一个状态的话，那个今天是不是晴天只依赖于昨天的天气，而和前天的天气没有任何关系。马尔科夫链在很多时间序列模型中得到广泛的应用

一、打卡Datawhale二、学习1、ComfyUI(1)、什么是ComfyUIGUI是"GraphicalUserInterface"（图形用户界面）的缩写。简单来说，GUI就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，Comfy

变分自编码器(VAEs)是一种生成式人工智能,因其能够创建逼真的图像而备受关注,它们不仅可以应用在图像上，也可以创建时间序列数据。标准VAE可以被改编以捕捉时间序列数据的周期性和顺序模式,然后用于生成合成数据。本文将使用一维卷积层、策略性的步幅选择、灵活的时间维度和季节性

我想实现一个变分自动编码器，它将一维Numpy数组（声音文件的波形）作为输入。运行该文件不会引发错误，但损失收敛到2000左右，并且重建看起来像纯粹的噪声。我使用了Goffinet等人的代码并尝试重写它以采用一维输入，因为我之前使用过他们的（二维）VAE。这是网络和转发功能的

深度学习在音乐生成领域有着广泛的应用，其中循环神经网络（RNN）和变分自编码器（VAE）是两种重要的模型。下面是这两种模型在音乐生成中的应用概述：1.循环神经网络（RNN）在音乐生成中的应用：序列建模：RNN特别适合处理序列数据，如音乐作品中的音符序列。它可以捕捉音乐中的时序依赖性，生成连

大家好，这里是《Stablediffusion小白入门》系列的第3篇，主要是帮大家梳理下Stablediffusion里面的各种模型，模型在Stablediffusion中占据着至关重要的地位，不仅决定了出图的风格，也决定了出图质量的好坏。但在第一次接触SD的时候，我就被里面的模型搞到头大，不仅有多种模型后缀，

1.设计思路1.1自编码器基础自编码器（Autoencoder）是一种神经网络模型，由编码器和解码器组成。编码器将输入数据压缩成一个潜在空间的表示（即编码），解码器则将这种表示重构为原始数据。设定：输入数据为x

腾讯开源可控视频生成框架MimicMotion来源:投稿作者: 菠萝的海子2024-07-1617:01:19 4腾讯宣布开源可控视频生成框架MimicMotion，该框架可以通过提供参考人像及由骨骼序列表示的动作，来产生平滑的高质量人体动作视频。公告称，大量的实验结果和用户调研表明Mim

1.VAE（Variationalauto-encoder）笔记来源及推荐文章：1.变分自编码器（一）：原来是这么一回事2.变分自编码器（二）：从贝叶斯观点出发3.变分自编码器（三）：这样做为什么能成？4.变分自编码器（四）：一步到位的聚类方案5.变分自编码器=最小化先验分布+最大化互信息6.变分自编码器（六）：从几何

一、介绍本篇来介绍下图生图的流程，图生图只是在文生图基础上做了一点点的改动，再结合原理查看，你会发现和文生图类似。二、流程步骤回顾一下上一篇的文生图的完整流程采样器通过模型形成一个Latentspace我们输入的参数有textprompt，通过clip编码器，是由模型提供的，变成token

在文章《生成扩散模型漫谈（一）：DDPM=拆楼+建楼》中，我们为生成扩散模型DDPM构建了“拆楼-建楼”的通俗类比，并且借助该类比完整地推导了生成扩散模型DDPM的理论形式。在该文章中，我们还指出DDPM本质上已经不是传统的扩散模型了，它更多的是一个变分自编码器VAE，实际上DDPM的原论文中也

前段时间公司组织技术分享，轮到笔者时，大家希望我讲讲VAE。鉴于之前笔者也写过变分自编码器系列，所以对笔者来说应该也不是特别难的事情，因此就答应了下来，后来仔细一想才觉得犯难：怎么讲才好呢？ 对于VAE来说，之前笔者有两篇比较系统的介绍：《变分自编码器（一）：原来是这么一回事》和《变分

在《变分自编码器（五）：VAE+BN=更好的VAE》中，我们讲到了NLP中训练VAE时常见的KL散度消失现象，并且提到了通过BN来使得KL散度项有一个正的下界，从而保证KL散度项不会消失。事实上，早在2018年的时候，就有类似思想的工作就被提出了，它们是通过在VAE中改用新的先验分布和后验分布，来使得KL散

大家都知道，Transformer的$\mathscr{O}(n^2)$复杂度是它的“硬伤”之一。不过凡事有弊亦有利，$\mathscr{O}(n^2)$的复杂度也为Transformer带来很大的折腾空间，我们可以灵活地定制不同的attentionmask，来设计出不同用途的Transformer模型来，比如UniLM、K-BERT等。本文介绍笔者构思的一

过去虽然没有细看，但印象里一直觉得变分自编码器（VariationalAuto-Encoder，VAE）是个好东西。于是趁着最近看概率图模型的三分钟热度，我决定也争取把VAE搞懂。于是乎照样翻了网上很多资料，无一例外发现都很含糊，主要的感觉是公式写了一大通，还是迷迷糊糊的，最后好不容易觉得看懂了，再去看看