1.Method
图像条件视频生成，
1.1 Image Dynamics from Video Diffusion Priors
1.1.1 文本对齐的上下文表征
文本嵌入通过clip构建，图像通过clip编码，主要代表语义层面的视觉内容，未能捕获图像的完整信息，为了提取更完整的信息，使用来自clip图像vit最后一层的全视觉标记，该token在条件图像生成时表现出了高保真度，为了促进与文本嵌入的对齐，即为了获得可以被去噪unet解释的上下文表征，利用一个轻量级网络P将视觉token转换为上下文表征，采用了多模态融合的Q-former架构。随后文本嵌入和上下文嵌入通过双cross attention与unet中间特征交互
标签：diffusion,DynamiCrafter,嵌入,clip,priors,文本,表征,图像,上下文 From： https://blog.csdn.net/u012193416/article/details/141717814