无监督学习

聚类，（降维，特征学习）密度估计

生成模型

密度估计

显示密度估计-》

能给出输入是我分布的概率，但是可以给出近似真实样本的采样数据。

隐式密度估计

不能给出分布，但是可以给出近似真实样本的采样数据。

AE自编码器

特点：

编码器：从原始数据的提取特征到特征空间，可以用于特征提取

解码器：从特征空间采样一个数据生成一个原始数据，能攻用于生成任务

问题：

数据没有覆盖到的特征空间，无法直接映射到原始数据。--？没有数据来支持我的解码网络学习到这个特征数据映射到原始空间的方法。

VAE变分自编码器

为了解决特征空间数据稀疏，提出变分的概念。无法直接映射到原始数据的问题。加入高斯分布的噪声，增加编码空间的数据。用来学习从特征空间映射到原始数据的通用方法。

通过加入高斯噪声在特征空间没有数据映射的点学习到所有相邻映射关系的映射方法。

每个特征空间的Z映射到原始空间，对应着原始空间数据的分布。从原始空间的高斯分布抽样的到一个生成的数据。

启发：数据稀疏时可以考虑就加入高斯噪声，自行生成数据。

CLIP 模型

latent diffusion

像素空间：

隐空间：

QKV：交叉注意力

Diffusion Model

Denoise强度如果输入相同那么每次进行Denoise的强度也相同，所以给一个输入用来控制强度

Denoise模块内部

怎么训练Predicter

文生图