首页 > 其他分享 >第七届黑客松的参赛收获

第七届黑客松的参赛收获

时间:2022-12-04 11:12:15浏览次数:34  
标签:语句 训练 模型 录制 黑客 语音 第七届 集中 参赛

收获:

(1) 学会了使用pip的参数解决包的安装问题,当用pip安装包因为网络问题导致安装失败时可用pip中的参数--default-timeout设置安装时间,也可以用-i参数设置镜像源,选择适合自己网络的镜像源去下载。

(2) 用ai解决问题时数据是基础如果数据质量较差可能导致模型出现一系列问题。问题1.一条语句一个人说了俩遍录制了俩条语音,一条放在训练集中一条放在验证集中,模型可以识别训练集中的语句却在识别验证集中相同text的语句犯错。解决方案向训练集中加入不同人读相同句子的语音以此提高模型的泛化能力。问题2.录制训练集中的句子基本为:”请检测出...”,当模型过度拟合数据时,模型识别”瓶子”这一语音时导致模型会输出”请检测出...”的结果(见图1)。解决方案向训练集中加入其他类型的句子(见图2)并减少训练轮数。

(3) ai是一个实际操作很强的学科,通过此次竞赛让我了解到,如果模型训练时出了问题可以假设出引发问题的原因,设计解决方案进行实验去解决此问题。过程一.当我遇到训练集质量差导致模型泛化能力弱,假设是因为训练集中的数据单一导致模型泛化能力差,我向训练集中添加入更多语句从而提高了模型在验证集的准确率。过程二.当只录制一遍语句放在训练集时会导致模型识别验证集中不同人录制相同语句出错,我对此做出了假设因为数据录制的较少导致模型无法很好的学到该语句的特征,因此我收集了不同人读相同语句录制的语音,将语音加入到训练集中,以此提高了模型识别语音的准确率。

(4) 在物体探测领域数据标注是至关重要的,因为它让模型学会要识别哪些物体和如何去标注他们。我们需要根据比赛中可能出现的图片来选择训练图片,选择不必要的图片只会增加训练成本,而选择出合适的训练图片就要详细了解比赛中可能出现各种图片。

(5)由于我们使用云平台去完成竞赛,网络不好容易出现连接中断,因此运行程序时后台执行和断点续传功能很重要。用windows系统向linux系统传文件选用winscp软件,只需输入云服务器的公网,端口号22,用户名和密码即可进行文件的传输。如果网络不好导致程序中断可以nohup+命令行操作。

(6)学会了linux的一些基本语法unzip是解压,cd进入文件,rm是删除。

(7)书写json文件时要保持文件不能有多余的空行否则会出现json.decoder.JSONDecodeError: Expecting value: line 2 column 1 (char 1)错误。

(8)Nemo1.4查询模型的语句nemo_asr.models.EncDecCTCModel.list_available_models()。

(9)一个字如果拉长音可能会让模型识别出多个相同的字。

(10)出现wheel for pesq error这样的错误,需要输入以下代码1.pip3 install --upgrade pip      2. sudo apt-get install python3-dev

(11)用腾讯云安装docker时可能出现公钥问题可以采用https://cloud.tencent.com/developer/article/2076348做法去解决此问题。

                                                     

图1 数据质量较差的训练集。

                                                      

图2 加入不同类型语音数据后的训练集

标签:语句,训练,模型,录制,黑客,语音,第七届,集中,参赛
From: https://www.cnblogs.com/hahaah/p/16949527.html

相关文章