RealChar——一个全能的开源代码库,先看演示。
谁需要 RealChar - 您的实时人工智能角色 -如果您已经厌倦了文字聊天,想要交谈 -如果您想随身携带您的人工智能角色 -如果您想进行全面的自定义 -如果您是一名工程师,正在寻找早期且无偏见的代码库来开始AI工程师的旅程
RealChar 可以让您使用低代码(仅需文件和提示)创建和自定义自己的角色/伙伴 然后?在任何地方与您的角色/伙伴进行交谈(网络、移动和终端!) 这是技术堆栈。让我们深入了解细节。
1. 数据准备
-提示工程 - 使用 ChatGPT 帮助定义角色 -语音克隆 - ElevenLabs 的优秀工具可用于克隆声音
-数据加载器 - 使用 LlamaIndex 处理数据并存储到 Vector 数据库中
-Vector 数据库 - 使用内存中的Chroma存储角色的数据
2. 提供服务 - 用户输入
-我们支持所有平台(网络、移动、终端)-可切换的语音转文本 - 可选择开源或 OpenAI whisper 和 Google Cloud speech -LLM Orchestration - 使用 LangChain 从Chroma 中提取上下文,然后与 GPT3.5/4 或 Claude 2 进行通信
3. C端 - 用户输出-Text2Speech - 目前仅支持ElevenLabs 。我们喜欢他们的声音!
-直播!- 把直播用到极致。使用 LangChain 的异步回调流文本。使用 ElevenLabs 流式传输音频块
4. 提供服务 - 基础设施(非 AI 相关)-Github actions - 用于 CI/CD -Docker hub - 用于托管镜像 -Google cloud - 使用 GKE 为容器提供服务 -SQLite - 本地存储交互
RealChar 仍然是一个非常早期的开源代码库。一个有趣的比较是 RealChar 和其他产品之间的比较。
项目链接
https://github.com/Shaunwei/RealChar