耗时半个月实现数字人各个功能模块记录一下个人感觉比较好的功能模块:
1、TTS, 语音合成,GPT-SoVITS, 可本地部署使用 cuda/gpu/cpu 运算,https://www.yuque.com/baicaigongchang1145haoyuangong/ib3g1e
2、ASR, 语音识别,FunASR,阿里开源模型,可本地部署当前为 cpu 运算版本,中文识别王者级模型,FunASR: 阿里开源的 ASR (gitee.com)
3、NLP, 自然语言处理,langChain-chatchat,可本地部署支持自主配置 LLM 模型及 RAG 模型,免费,Langchain-Chatchat 如何自定义目录和配置模型? - 哔哩哔哩 (bilibili.com)
4、音频驱动口型及表情,SALSA,本地插件
5、人物,自制 / 网站制作
基础测试配置需求:16G 运行内存,8G 显存
落地配置需求:32G 运行内存,24G 显存
标签:显存,模型,离线,功能模块,Unity,本地,com From: https://www.cnblogs.com/zhangjianxiong/p/18105287