概要发篇文章记录一下最近搞的语音+大模型聊天机器人的搭建过程，供交流学习。有正反馈的话会继续优化。整体架构流程注意：借传统的基于RASA的对话机器人的图一用，本博会把NLU（NaturalLanguageUnderstanding）和DialogueManagement这两个组件，用大模型来替代。组件及模型说明：用

1、docker镜像下载下载链接：https://catalog.ngc.nvidia.com/orgs/nvidia/containers/tritonserver/tags或者直接dockerpullnvcr.io/nvidia/tritonserver:23.01-py3 2、克隆wenet项目gitclonehttps://github.com/wenet-e2e/wenet.git3、下载预训练模型，下载链接https:/

运行：参照：markdown问题：CMakeError:Error:generator:NinjaNinja：提高构建速度wenet/runtime/libtorch/fc_base/libtorch-src/lib/libtorch_cuda_cpp.so:undef

目录Wenet分布式训练对学习率调整的影响背景分布式训练收敛速度和学习率变化的关系Wenet学习率调整策略分析WenetWarmup学习率源代码分析模拟Wenet预热学习率调整策略We

目录Wenet多机多卡分布式训练PyTorch分布式训练DemoWenet分布式训练实践Wenet如何配置多机多卡分布式训练?Wenet分布式训练实验结果Wenet分布式训练如何实现？Wenet分布式训

我们知道CTC是非自回归，而像transformer中解码是自回归的，所以transformer很大的一个缺陷就是解码速度慢。在最近几年CTC和注意力机制联合训练得到的性能效果得到极大的提升

关于WeNet和ESPnet两个工具下采样模块都是相同的操作，首先将输入序列扩充一个维度（因为要使用二维卷积），然后通过两个二维卷积，其中第一个卷积的输入通道为“1”，输出通道为odi