首页 > 其他分享 >RealChar:实时AI数字人

RealChar:实时AI数字人

时间:2023-07-17 22:46:28浏览次数:34  
标签:角色 AI 实时 RealChar 使用 源代码 ElevenLabs

 

RealChar——一个全能的开源代码库,先看演示。

 

谁需要 RealChar - 您的实时人工智能角色 -如果您已经厌倦了文字聊天,想要交谈 -如果您想随身携带您的人工智能角色 -如果您想进行全面的自定义 -如果您是一名工程师,正在寻找早期且无偏见的代码库来开始AI工程师的旅程

RealChar 可以让您使用低代码(仅需文件和提示)创建和自定义自己的角色/伙伴 然后?在任何地方与您的角色/伙伴进行交谈(网络、移动和终端!) 这是技术堆栈。让我们深入了解细节。

 

1. 数据准备

-提示工程 - 使用 ChatGPT 帮助定义角色 -语音克隆 - ElevenLabs 的优秀工具可用于克隆声音

-数据加载器 - 使用 LlamaIndex 处理数据并存储到 Vector 数据库中

-Vector 数据库 - 使用内存中的Chroma存储角色的数据

 

2. 提供服务 - 用户输入

-我们支持所有平台(网络、移动、终端)-可切换的语音转文本 - 可选择开源或 OpenAI whisper 和 Google Cloud speech -LLM Orchestration - 使用 LangChain 从Chroma 中提取上下文,然后与 GPT3.5/4 或 Claude 2 进行通信

 

3. C端 - 用户输出-Text2Speech - 目前仅支持ElevenLabs 。我们喜欢他们的声音!

-直播!- 把直播用到极致。使用 LangChain 的异步回调流文本。使用 ElevenLabs 流式传输音频块

 

4. 提供服务 - 基础设施(非 AI 相关)-Github actions - 用于 CI/CD -Docker hub - 用于托管镜像 -Google cloud - 使用 GKE 为容器提供服务 -SQLite - 本地存储交互

RealChar 仍然是一个非常早期的开源代码库。一个有趣的比较是 RealChar 和其他产品之间的比较。

 

项目链接

https://github.com/Shaunwei/RealChar

标签:角色,AI,实时,RealChar,使用,源代码,ElevenLabs
From: https://www.cnblogs.com/botai/p/RealChar.html

相关文章