稳定扩散模型因其从文本描述生成高质量、多样化图像的能力而获得了极大的关注。但是这些预训练模型在生成高度定制或个性化主题的图像时可能会有所不足。
这时就需要我们进行手动的微调。微调可以根据相对较小的图像集向模型教授新的、独特的主题。我们今天使用DreamBooth在不影响模型原始功能的情况下实现微调过程。
基础概念
1、生成模型和文本到图像的合成
生成模型是一类机器学习模型，旨在生成与给定数据集相似的新数据实例。他们捕捉潜在的数据分布，产生新的样本。
文本到图像模型是生成模型的一个子集，因为它们以极高的准确性和保真度将文本描述转换为相应的视觉表示而特别有趣。
Stable Diffusion是一种文本到图像的模型，它利用Transformer架构的一种变体来根据文本输入生成图像。
这些模型的生成过程可以描述如下:
给定一个文本描述T，模型的目标是生成一个图像I，使联合概率P(I,T)最大化。这通常是通过训练模型来最大化条件概率P(I∣T)来实现的，以确保生成的图像与文本描述一致。
2、生成模型的微调
微调是指在一个新的、通常更小的数据集上调整预训练的模型，以使模型适应特定的需求，而不会失去从原始数据集学习到的泛化性。这种方法在数据稀缺或需要定制的应用程序中至关重要。
在数学上，微调调整模型的参数θ以优化新数据集Dnew上的损失函数L，同时防止与原始参数θ origin的显著偏差。这可以被表述为一个正则化问题:
https://avoid.overfit.cn/post/1b02c6c3d93749558941777786b64513
标签：模型,微调,生成,图像,扩散,文本,描述 From： https://www.cnblogs.com/deephub/p/18020738