引子 近期,文生图,wav2lip很火,文生图,见识的太多,不多说了。wav2lip其通过语音驱动唇部动作并对视频质量进行修复,里面一般涉及到三个步骤,文本到语音转化,语音驱动唇部动作,图像质量修复。最后一步骤涉及到图像质量修复,考虑到之前做过基于GFP-GAN相关的工作,在此,总结汇总下。本文主要介绍腾讯在人像复原、超分等方面的佳作 GFP-GAN。在 wav2lip 中扮演视频质量判别器的任务,负责对嘴唇修复后的图像帧进行质量修复,提供更高质量的视频效果。虽然是三年前的成果,目前来看效果依然还是十分不错的。OK,让我们开始吧。 一、环境搭建 conda create -n GFPGAN python=3.7 conda activate GFPGAN # 克隆源码 git clone https://github.com/TencentARC/GFPGAN.git cd GFPGAN # 安装 basicsr,训练和测试中都需要用到 pip install basicsr -i https://pypi.tuna.tsinghua.edu.cn/simple # 安装facexlib用于人脸检测以及人脸重建的助手 pip install facexlib -i https://pypi.tuna.tsinghua.edu.cn/simple pip install -r requirements.txt python setup.py develop # 安装realesrgan包,用于增强没有人脸情况下的背景,项目刚好需要,就安装了 pip install realesrgan -i https://pypi.tuna.tsinghua.edu.cn/simple #模型下载 https://github.com/TencentARC/GFPGAN/releases/download/v1.3.0/GFPGANv1.4.pth 二、测试 python inference_gfpgan.py -i inputs/whole_imgs -o results -v 1.4 -s 2 测试效果如下:
标签:https,GFP,GAN,install,GFPGAN,pip,搭建 From: https://www.cnblogs.com/nick-algorithmer/p/18056190