首页 > 编程语言 >对于交互型数字人源码您了解多少!

对于交互型数字人源码您了解多少!

时间:2024-04-10 14:46:39浏览次数:19  
标签:数字 动作 音频 源码 对话 交互 真人

作为AI的应用场景之一,数字人在市场上的普及度比大模型高很多。可以作为智能客服,解答业务问题或者办理业务,推荐产品。
交互型数字人是指能与人类进行实时交互对话的数字人,可以作为智能客服,解答业务问题或者办理业务,推荐产品。中国电信app首页的AI筱翼,是一种常见的数字人智能客服,电信掌上营业厅功能很多,部分功能不容易找到,通过数字人语音交互可以直达业务页面。talkie对话界面也有一个形象,但是形象在对话中一直是静态的,不属于交互型数字人。
一、交互型数字人基本原理
可交互的数字人,主要原理是先通过真人拍摄视频使用青否数字人克隆端生成数字人,对话时通过asr识别用户输入的问题,然后问题被发送给数字人大脑(传统bot知识库或大模型)获取答案,再通过tts将答案转换成音频,通过音频驱动数字人的唇部和面部,形成数字人说话视频,实现真人与数字人的对话。
数字人的驱动能力包括唇部,面部表情和肢体动作。通过音频驱动数字人唇部和面部变化,唇形准确率现在都比较高,数字人说话时口型和音频能对上,口型不细看基本没有破绽。数字人的肢体动作来源于提前制作好的动作库。制作数字人形象时,可以定制常用的动作,比如点赞、比心、手势引导等动作,将动作和数字人说话内容做好关联,数字人说话时就会触发这些动作,肢体动作和面部表情使数字人说话时更接近人类,更自然。2D真人数字人可以实现实时对话,但两者在数字人制作渲染、推理方面,是完全不同的技术路径。
二、客户群体
整个交互型数字人行业的服务对象,目前还是to B大客户,主要为银行/证券/保险/运营商/政务行业等客户提供解决方案,最终的落地形式有嵌入手机app,或线下大屏。目前数字人客服的渗透率还不高,即便金融行业大公司也还处于数字人应用的探索和试点阶段。
在生活中我们能体验到的,有中国电信app上的AI筱翼,部分城市比如深圳的一些地铁站有数字人大屏,承担真人客服的功能,银行线下网点的大屏数字人大堂经理。项目价格一般可达百万级,市场上有数字人制作/驱动/NLP和语音全链路能力的厂商不多,落地一般由多家厂商参与完成。
三、交互式数字人的功能有哪些?(源码:zhibo175)
1.数字人克隆
拍摄真人出镜,正视镜头说话的5-8分钟绿幕视频,即可复刻出口型、动作、神态等1:1的数字人形象,行业高精度中文唇形驱动技术,性能优势与性价比处于全国领先水平。

2.声音克隆:支持中文和多种外语声音克隆,系统可以输出最多140种语言,服务全球用户,可选择301种音色,还可以克隆出来你的专属音色,满足不同类型的定制需求,您还可以上传录音进行输出。
3.“Al大脑”模型
接入“讯飞星火认知大模型”,拥有跨领域的知识和语言理解能力,还可以上传企业专属的知识库,持续从海量文本数据和大规模语法知识中学习进化,实现基于知识库问答、多轮对话能力。
“数字人”和“AI大脑”构建好后,通过多种技术手段,让数字人理解用户说的话,并把大脑内容传输出去。

4.音频采集
自研回声消除、声源定位,波束成形、去混响噪声抑制等核心算法用于远场语音交互场景。
5.显示终端
集合知识、看、听、说等多模态人机交互数字人,展现在大屏、移动设备、台式机或平板电脑等多个终端上,实现不同场景的真人模拟对话。

交互数字人源码独立部署能够多场景应用,功能完善,2024年时数字人垂直应用的一年,数字人将逐渐占据人们的生活,看完本文分享希望你对交互型数字人有所了解!

标签:数字,动作,音频,源码,对话,交互,真人
From: https://www.cnblogs.com/qingfouyun/p/18125990

相关文章

  • 免费分享Springboot+Vue的停车场管理系统源码,真酷啊
    今天给大家分享一套基于Springboot+Vue的停车场管理系统源码,在实际项目中可以直接复用。(免费提供,文末自取)一、系统运行图1、登陆页面2、车位管理3、车辆进出管理设计一个SpringBoot+Vue的停车场管理系统时,需要注意以下细节:1.用户权限管理:确保系统具有不......
  • 深入理解 Semaphore 【源码分析】
    SemaphoreSemaphore是信号量的意思,一般用来控制同时访问某个资源的线程数量,协调各个线程合理的访问公共资源,Semaphore的底层依赖的是AQS。Semaphore使用计数器来控制对共享资源的访问,如果计数器大于0,则表示允许访问共享资源,如果为0,则表示共享资源已经达到访问的上......
  • java计算机毕业设计二次元信息分享平台(附源码+springboot+开题+论文+部署)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着数字化时代的到来,二次元文化在全球范围内迅速崛起,成为年轻一代热衷的亚文化现象。二次元内容涵盖动漫、游戏、小说等多个领域,吸引了庞大的粉丝群......
  • java计算机毕业设计二手车平台交易系统(附源码+springboot+开题+论文+部署)
    本系统(程序+源码)带文档lw万字以上 文末可获取一份本项目的java源码和数据库参考。系统程序文件列表开题报告内容研究背景随着经济的不断发展与人们生活水平的提高,汽车已成为人们日常生活中不可或缺的交通工具。然而,二手车市场的快速发展也带来了一系列问题,如信息不对称、......
  • [kernel] 带着问题看源码 —— setreuid 何时更新 saved-set-uid (SUID)
    前言在写《[apue]进程控制那些事儿》/"进程创建"/"更改进程用户ID和组ID"一节时,发现setreuid更新实际用户ID(RUID)或有效用户ID(EUID)时,保存的设置用户ID(savedset-user-idSUID)只会随EUID变更,并不像man上说的会随RUID变更(mansetreuid):Ifthe......
  • 大会预告|乘云数字 Databuff 邀请您参加「第二届 eBPF 开发者大会」
    冬去春来,草长莺飞,「第二届 eBPF开发者大会」即将到来。本次大会将于 2024年4月13 日,在陕西省西安市线下举办,由西安邮电大学主办,在西安邮电大学(东区)逸夫教学楼召开。会议介绍大会以「发挥eBPF 技术力量,提升计算机系统可观测性和性能」为主题,议题涵盖eBPF技术及发展......
  • 基于Springboot+Vue的Java项目-月度员工绩效考核管理系统(附演示视频+源码+LW)
    大家好!我是程序员一帆,感谢您阅读本文,欢迎一键三连哦。......
  • AI去衣技术中的用户交互与定制:深化理解与探索新境界
    在数字化时代的浪潮中,人工智能(AI)技术已经深入渗透到我们生活的方方面面,其中AI去衣技术作为图像处理领域的一个重要分支,受到了广泛关注。AI去衣技术的目标是利用计算机视觉和深度学习算法,对图像中的人物进行衣物去除,以呈现出不同的视觉效果。然而,仅仅依赖算法的自动处理往往......
  • H5短剧源码|小剧场短剧源码带uniapp和小程序开发
    短剧源码是指一个已经开发好的、可以直接使用的短剧小程序的源代码。短剧小程序是一种基于微信小程序平台的应用,专门用于播放短剧视频。短剧源码包含了短剧小程序的所有功能和界面设计,可以通过修改源码来定制自己的短剧小程序。使用短剧源码可以节省开发时间和成本,快速搭建自......
  • 如何用加密技术守护你的数字世界(9):SSL/TLS
    该文章Github地址:https://github.com/AntonyCheng/encryption-notes【有条件的情况下推荐直接访问GitHub以获取最新的代码更新】在此介绍一下作者开源的SpringBoot项目初始化模板(Github仓库地址:https://github.com/AntonyCheng/spring-boot-init-template【有条件的情况......