首页 > 其他分享 >MAC本地部署数字人声唇同步模型Wav2Lip

MAC本地部署数字人声唇同步模型Wav2Lip

时间:2024-10-14 17:47:04浏览次数:8  
标签:checkpoints python opencv MAC Wav2Lip install pip wav2lip 人声

网络环境:VPN

电脑:MAC AIR (INtel显卡,无GPU)

(常见错误问题和解决办法在最后,可以跳至最后看)

1、克隆Wav2Lip仓库

git clone https://github.com/Rudrabha/Wav2Lip

2、安装annoconda环境

3、安装ffmpeg(处理音视频的工具,Wav2Lip依赖于它)

conda install ffmpeg

4、创建名为“wav2lip”的虚拟环境(逐个执行如下命令)

conda create -n wav2lip python==3.10

cd wav2lip

5、激活虚拟环境wav2lip

conda activate wav2lip

6、安装项目所需的依赖包(requirements.txt文件中详细罗列)

pip install -r requirements.txt

其中requirements.txt文件内容如下:

librosa==0.7.0

numpy>=1.17.1

opencv-contrib-python>=4.2.0.34

opencv-python>=4.9.0.80

torch>=2.0.1

torchvision>=0.15.0

tqdm>=4.45.0

numba>=0.48

7、下载预训练模型(Wav2Lip使用预训练模型进行推理),并按如下目录方式存放好:

mkdir checkpoints
wget "https://storage.googleapis.com/vit_wav2lip/checkpoints/wav2lip_gan.pth" -P checkpoints/
 

我是CSDN上搜索预训练模型文件名,通过别人分享的网盘下载的。

下载好以后,文件存位置之如下:

wav2lip.pth存放到checkpoints目录下

wav2lip_gan.pth存放到checkpoints目录下

lipsync_expert.pth存放到checkpoints目录下

visual_quality_disc.pth存放到checkpoints目录下

s3fd.pth存放到face_detection/detection/sfd/目录下

8、执行命令,开始生成数字人

python3.10  inference.py --checkpoint_path checkpoints/wav2lip_gan.pth --face data/XXX --audio data/YYY

XXX:是最终生成的说话的那张脸部的文件,可以是图片或者视频。最好是正脸,嘴巴清晰的便于识别的会比较好。

YYY:是最终生成的说话的声音文件,音频。

生成过程耗时:初次可能会慢点。快的时候几分钟,甚至更短。

【我遇到的问题和解决办法】

1、github项目下载错误

git clone https://github.com/Rudrabha/Wav2Lip

正克隆到 'Wav2Lip'...

错误:RPC 失败。curl 55 Failed sending data to the peer

致命错误:在引用列表之后应该有一个 flush 包

解决:使用VPN,然后执行命令就OK了。

2、执行pip install -r requirements.txt 报错:

ERROR: Could not find a version that satisfies the requirement opencv-python==4.1.0.25

ERROR: No matching distribution found for opencv-python==4.1.0.25

尝试1:

sudo pip3 install opencv-python,不行。

尝试2:

到open CV官方找到GITHUB地址,然后命令运行

git clone https://github.com/opencv/opencv.git

不行。

尝试 3:升级PIP

pip install opencv-python==4.1.0

依然不行。

尝试4:

pip install opencv-python==4.1.0.40

ERROR: No matching distribution found for opencv-python==4.1.0.40

不行

尝试5:

pip install opencv-python

报错pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host='files.pythonhosted.org', port=443): Read timed out.

尝试6:用 --default-timeout 选项: 增加超时时间,例如:pip install opencv-python --default-timeout=100

安装成功!

再次执行pip install -r requirements.txt 依然是报错:4.1.0.25

尝试7: 找到requirements.txt ,修改里面的opencv-python==当前环境里的Version

一开始requirements.txt文件里的版本是指定特定版本,运行时很多版本不对,太高或者太低,就基本都改成 “>=”某个版本号,成功了解决了问题。

librosa==0.7.0

numpy>=1.17.1

opencv-contrib-python>=4.2.0.34

opencv-python>=4.9.0.80

torch>=2.0.1

torchvision>=0.15.0

tqdm>=4.45.0

numba>=0.48

标签:checkpoints,python,opencv,MAC,Wav2Lip,install,pip,wav2lip,人声
From: https://blog.csdn.net/Beauty2023/article/details/142874236

相关文章

  • MacOS安装nvm管理NodeJs
    安装nvm%curl-o-https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.4/install.sh|bash安装完成验证%nvm--version0.40.0安装NodeJs%nvminstall14.21.3%nvminstall20查看安装的NodeJs%nvmls->v14.21.3v20.18.0切换NodeJs版本......
  • Tuxera NTFS2023破解版mac苹果数据传输神器
    TuxeraNTFS:让Mac与Windows数据无界互通###神奇的跨平台桥梁......
  • mac远程控制软件推荐
    Mac远程控制这个软件必须下......
  • 【ID2024】Adobe InDesign桌面出版软件下载安装(附win/mac安装包)
    软件功能AdobeInDesign是一款由Adobe公司开发的专业的桌面出版软件,广泛应用于印刷品的设计和制作领域,如杂志、报纸、书籍、海报、传单等。以下是InDesign的主要功能特点:链接:https://pan.baidu.com/s/1NYuJKwwmbsPtiq0Men5Syg?pwd=tgez提取码:tgez 强大的排版功能:支......
  • Mac苹果电脑微信多开助手,拥有防撤回和微信多开的功能
    WeChatTweakformac是一款仅限mac平台的微信客户端插件,这款插件拥有防撤回和微信多开的功能。集成版无需执行终端命令,直接可以右键单击dock栏图标以登录另一个微信帐户。WeChatHooks为WeChat增加撤回消息拦截,增加全局头像圆角,增加折叠群聊置顶,增加导出聊天表情,......
  • 虚拟定位软件:AnyGo for Mac 6.9.5 特别版
    AnyGo是一款由iAnyGo开发的地理位置虚拟化软件,主要用于在移动设备上模拟位置。它广泛应用于游戏、社交媒体和其他需要定位的应用场景中,用户可以通过它自由更改GPS定位,从而实现在不同地理位置间的移动。主要功能:虚拟定位:用户可以手动选择任意地点进行虚拟定位,非常适合......
  • 媲美ps却比ps操作简单--Luminar Neo macOS照片编辑激活版
    LuminarNeo是一款由Skylum公司开发的先进照片编辑软件,融合了人工智能技术,旨在为摄影师和图像处理爱好者提供创新、简便的编辑体验。它支持Windows和macOS系统,具备AI驱动的编辑工具,能够轻松完成从基础调整到复杂修饰的各种任务。同时,其模块化的界面和灵活的工作流程,使用户能够根......
  • AI智能照片放大软件--Topaz Gigapixel AI macOS苹果电脑安装包(含激活秘钥)
    TopazGigapixelAI是一款功能强大的图像无损放大工具,具有以下功能特色:首先,它利用人工智能技术,能自动识别并增强图像中的细节,包括纹理、边缘等,同时减少噪声,使图像更加清晰细腻。其次,软件支持超高放大倍率,最高可达600%,且放大后的图像质量依然保持优秀。此外,TopazGigapixelAI还提......
  • Mac下使用VSCode开发react native快捷键与终端命令
    一、快捷键在macOS下使用VSCode开发ReactNative时,掌握常用的快捷键可以提高开发效率。以下是一些常用的VSCode快捷键,特别适用于ReactNative开发:1、基础快捷键打开命令面板:Cmd+Shift+P打开VSCode的所有命令面板,可以快速执行命令。打开终端:Ctrl+~......
  • python量化数据6:计算宁德时代macd金叉死叉红柱绿柱大小
    一、通达信公式#行业业绩轮动公众号首发DIFF:=EMA(CLOSE,12)-EMA(CLOSE,26);DEA:=EMA(DIFF,9);MACD:=2*(DIFF-DEA);金叉cross(diff,dea)死叉cross(dea,diff)二、代码#行业业绩轮动公众号首发#tdx_indicator是1个通达信常用函数的封装库,下载可以从我的开......