最近，兵马俑、马斯克以及各地网友跳科目三和网红舞的视频陆续在社交媒体和朋友圈刷屏，这些大约10秒左右的视频都不是真人出镜，均由大模型生成，这种低门槛的跳舞方式引发了网友的广泛体验，掀起了一波斗舞狂潮「AI治愈了我的四肢不协调」
Swan是一款使用扩散模型实现的时域一致的人体图像动画工具，它可以通过对人体图像进行扩散模型的运算，实现高质量、自然流畅的人体动画效果，适用于人体动画创作、虚拟角色设计等领域
Swan具有高度的可控性和灵活性，不管是平常动作、舞蹈或者是武术，都能完美还原，只需要上传一段视频和人物照片，就能自动生成流畅的模仿视频，连手指的动作都能精准复制，甚至可以让一把椅子也长出手跳同样的舞蹈
Swan最新中文版：
百度网盘：https://pan.baidu.com/s/1QoGtuCjNMkEOrsJecGYULg?pwd=4ui0
技术创新
· 架构精简：使用轻量级的卷积模块，负责从条件控制（如语义分割掩码、关键点等）中提取特征表示
· 交叉归一化：使用主干网络去噪特征的均值μ和方差σ对控制模块输出的特征进行归一化
· 条件控制注入策略：采用简单的加法融合方式，避免了注意力机制等复杂操作引入的额外学习参数和不稳定性
· 选择性参数训练：从预训练模型的不同网络层中等距采样，形成用于训练的参数子集
使用方法
1.上传人物图片
2.上传动作视频
3.点击「Run Inference」按钮开始生成
可以在“Command Output”界面查看当前的执行进度，视频处理完毕会输出信息Moviepy - Video ready，生成的视频默认保存在项目路径的outputs文件夹下
注意事项
①项目安装路径不要包含中文
②推荐使用GTX1060以上显卡运行此项目
③使用过程中若不慎关闭软件后台，请重新打开，并刷新网页
标签：视频,动画,AI,Swan,舞王,归一化,上传 From： https://www.cnblogs.com/laoaiaishijie/p/18578290