首页 > 其他分享 >虚幻引擎 | (类恐鬼症)玩家和NPC语音聊天

虚幻引擎 | (类恐鬼症)玩家和NPC语音聊天

时间:2024-09-11 22:25:41浏览次数:11  
标签:恐鬼症 插件 NPC 报错 Speech 虚幻 speech Runtime

SETUP:工具和插件

工具:elevenlabs或者讯飞,用于Speech Synthesis(语音合成,text to speech)。

https://elevenlabs.io/app/speech-synthesis/text-to-speechicon-default.png?t=O83Ahttps://elevenlabs.io/app/speech-synthesis/text-to-speech     elevenlab有10000字的免费试听额度

虚幻需要安装的插件(都支持虚幻5.0-5.4): (以下插件非本人所著,1-3需付费购买,1-2结合使用,4必装)

1)Runtime Speech Recognizer (不免费) :识别玩家通过麦克风讲的话

  • English-only and multilingual models available, with multilingual supporting 100 languages)
  • Fast recognition speed (反应速度快)
  • Optional translation of recognized speech to English (可以支持翻译机器人)
  • NOTE: The images with plugin examples are made in conjunction with 2)RuntimeAudioImporter, although you may have your own implementation of audio input to be processed in RuntimeSpeechRecognizer.

2)Runtime Audio Importer(不免费):导入录制的音频到引擎中

3)Offline Speech Recognition(不免费)

  • No dependencies on other paid cloud services
  • Easy to setup
  • One time payment
  • The server can handle multiple clients at the same time 支持多人使用
  • No internet required 支持离线

4)VArest(免费):REST通信(for the communication with API)

Speech to Text实现步骤:

示例使用Runtime Speech RecognizerRuntime Audio Importer。

完成购买后,Runtime Speech Recognizer的插件document中提供copyable blueprint可供直接复制使用。

1)缺失变量报错:

Blueprint复制过来之后,(包括你从自己其他工程复制过来的蓝图)会出现由于缺失变量造成的报错,只需要右键set variable的部分(节点如下图),即可一键重新创建变量,报错就可以解决。

2)blank audio报错

如果无法用笔记本麦克风语音输入,debug message会出现blank audio

详见:笔记本麦克风不能正常接入语音-CSDN博客

3)切换语言

系统设置:插件->Runtime Speech Recognizer中,可以把Model Language从English only切换成多语种

4)响应时间问题:

语言模型将所有答案一起传回,字数越多等得越久。

MetahumanSDK的文字to语音to口型,同样字数越多耗时越长,也受网速的影响。

到这条分割线以上,就可以实现和虚幻引擎编辑器对话了。

————————————————待更新————————————————————

5)文字识别准确性(避免空耳),stepsize,手动设置识别语言

————————————————同系列文章————————————————————

和NPC纯文字聊天。

游戏开发| Unreal5.2-5.4接入chatGPT定制游戏NPC-CSDN博客文章浏览阅读1k次,点赞18次,收藏6次。Unreal5.2-5.4接入chatgpt,制作游戏内不同人设的NPC角色https://blog.csdn.net/charon8778/article/details/142092626

标签:恐鬼症,插件,NPC,报错,Speech,虚幻,speech,Runtime
From: https://blog.csdn.net/charon8778/article/details/142139687

相关文章

  • 在虚幻引擎(UE5)中使用HDR贴图_UE5教程
    一共有两种文件格式,推荐使用hdr格式,先讲hdr格式先创建一个材质,名称随意双击打开,把着色模型改为无光照拖入hdr贴图,此时会报错创建三维向量转换为参数,此时已经可以正常显示了,但是增加一些可调节参数一个对比度一个光照强度,转换为参数创建材质实例,双击打开打开双面材质创建......
  • 虚幻5|不同骨骼受到不同伤害|小知识(2)
    1.蓝图创建一个结构,B_BoneDamage结构里添加一个浮点变量,表示伤害倍数2.当我们创建了一个结构,就需要创建一个数据表格,数据表格可以选择对应的结构不同骨骼不同倍数伤害,骨骼要对应骨骼网格体的名称3.把我们break命中的Bonename变量和Location提升为变量,意思是击中的骨骼命......
  • 虚幻5|技能栏UI优化(2)——优化技能UI并实现技能栏的拖拽操作
    这篇文章里,前情提要,文章里的序列变量应命名为序号,我命名错了,虽然不差,但为了后面更好的理解一.刷新技能栏,用于刷新上一章文章的初始化技能栏1.打开技能栏格子,打开图表,添加以下两个变量并添加以下蓝图还有一个蓝图要删掉,该图片把右侧的技能图标get有效变量删掉,我这里忘删了......
  • 虚幻5数字人,UE5如何使用VaRest插件用POST请求连接OpenAI的ChatGPT,保姆级教程
    首先整理下,需要用到的插件或者密钥:1.VaRest插件,Epic商城直接安装(免费)2.OpenAI的密钥,要去OpenAI的官网获取1.安装VaRest插件(免费)打开EPIC商城,在虚幻商城中搜索VaRest点击免费后获取,然后点击安装到引擎 选择对应的UE版本,我这里就选择5.32.新建UE5.3的项目在库中找到U......
  • 虚幻5|音效设置—环境音效,低血量和恢复血量音效,音效衰减,脚步音效
    一,环境音效——学习使用SoundCue1.打开主界面拖入一个环境音效2.选择一个音效,但这个音效围绕整个环境的,设置听听就行了听完后删掉,我们要设置一个有一定范围的音效3.找到存放音效的文件,创建一个音频SoundCue打开后,在这里可以设置随机播放音效拖入三个音频,右侧拖入你......
  • 英伟达首个AI NPC入驻游戏,国产大作,4B模型只需2G显存
    点击访问我的技术博客https://ai.weoknow.comhttps://ai.weoknow.com玩家都在问:游戏什么时候上线?大模型驱动的游戏NPC终于落地了。今天凌晨,英伟达放出一段游戏demo。现在打游戏,你可以用语音对话的方式和NPC交流,了解关卡目标、优化装备配置,随后调整武器配色开......
  • 《黑神话:悟空》神话再现,虚幻引擎与Unity/C#谁更强?
    前言在国产游戏领域,《黑神话:悟空》无疑是一颗耀眼的明星,以独特的艺术风格、深厚的文化底蕴以及卓越的技术表现,赢得了国内外玩家的广泛关注。然而,在这款游戏光鲜亮丽的背后,是我们开发者对技术选择的深思熟虑与探索。今天我们就来揭秘《黑神话:悟空》幕后的技术对决—虚幻引擎与Uni......
  • 使用虚幻引擎云渲染方案的好处与挑战
    虚幻云渲染技术是基于虚幻引擎的云端渲染技术,将虚幻引擎的渲染计算任务通过云计算的方式进行处理和渲染、并将渲染结果传输到终端设备上进行展示。虚幻引擎云渲染技术在近年来得到了迅猛的发展,并在各个领域得到了广泛的应用,包括游戏、电影、电视、虚拟现实、增强现实等。然而,随着......
  • 虚幻5数字人,如何将MetaHuman的光照导入到自己的UE项目中
    本质上就是将metahuman光照的地图导入到自己的ue5项目中1.创建MetaHuman光照项目首先在EpicGames虚幻商城中搜索”Metahuman光照“ 点击免费加入到库在自己的库中找到MetaHuman点击创建工程 在这里可以选择你项目位置和引擎版本和你现在的项目版本一样就好等待......
  • UE5笔记:虚幻引擎反射系统和对象
    虚幻引擎反射系统使用宏提供引擎和编辑器各种功能,封装你的类。使用虚幻时,可以使用标准的C++类,函数和变量虚幻中对象的基类是UObject,UCALSS宏的作用是标记UObject的子类,以便UObject处理系统可以识别他们UObject创建1.不支持构造器参数。所有的C++UObject都会在引擎启动的时候......