首页 > 其他分享 >uff转engine踩䟘记录

uff转engine踩䟘记录

时间:2022-08-23 13:23:30浏览次数:90  
标签:engine 200 记录 -- fp32 uff chw

网上找了篇文章,用tensorrt自带转换工具trtexec转成engine格式的方法,网址如下:

https://www.cnblogs.com/xiaoxiaomajinjiebiji/p/14451398.html

文章中举例的转换指令为:

/usr/src/tensorrt/bin/trtexec --uff=/home/model/model.uff --uffInput=input_1,1,3,224,224 --output=softmax/Softmax --saveEngine=/home/model/model.engine --outputIOFormats=fp32:chw --buildOnly --useCudaGraph

其中--uffInput后面跟的是模型输入节点名称和训练模型的图像尺寸,但是中间多了个1不知道是啥意思

--output为模型的输出节点名称

--outputIOFormats=fp32:chw中fp32为模型的精度,chw为模型输出的格式

所以根据上述指令说明,再按我的模型,我的转换指令:

trtexec --uff=REF-DEFECT_1-200-200__0810005631.uff --uffInput=InputNode,1,200,200 --output=score --saveEngine=REF-DEFECT_1-200-200__0810005631.engine --outputIOFormats=fp16:chw --buildOnly --useCudaGraph

其中为提高推理速度,模型输出精度我改成了fp16,测试了下,发现预测结果不正确

后面改成fp32,预测结果正确

最终正确转换指令为:

trtexec --uff=REF-DEFECT_1-200-200__0810005631.uff --uffInput=InputNode,1,200,200 --output=score --saveEngine=REF-DEFECT_1-200-200__0810005631.engine --outputIOFormats=fp32:chw --buildOnly --useCudaGraph

 

tensorrt版本为:TensorRT-8.0.3.4.Windows10.x86_64.cuda-11.3.cudnn8.2

标签:engine,200,记录,--,fp32,uff,chw
From: https://www.cnblogs.com/baoxuhong/p/16615796.html

相关文章

  • 开发记录
    开发记录20220823安装 VueCLI4.x需要Node.jsv8.9或更高版本(推荐v10以上)。你可以使用n,nvm或nvm-windows在同一台电脑中管理多个Node版本。npminstall......
  • After Effects 教程,如何在 After Effects 中记录关键帧?
    欢迎观看AfterEffects中文版教程,小编带大家学习AfterEffects软件的基本工具和使用技巧,了解如何在AE中记录关键帧。选择要设置动画的图层,在「时间轴」中选择「图层1......
  • [排错记录]20220823_终端用户反应网速慢
    ​ 暑假期间,部分终端用户反映网速非常慢,打开网页很卡,测速非常的缓慢。本人接到任务去现场查看,进行错误排查。总结如下一、现状分析1.1简要拓扑结构:1.2现状描述1)初......
  • [css]用于记录开发环境中各个DB的html,使用css以美化
    【说明】用文本文件记开发环境中各个DB,只能搞一列,还不漂亮。用图片做又难以修改,wordexcel等又需要特定软件,用html/CSS正好解决了多列、美观、无特定软件依赖等需求。【......
  • MySQL和Navicat安装过程记录Win10
    安装MySQL双击下载好的文件点击Execute,等待绿勾后Finish验证配置环境变量以在命令行使用Win+R,输入cmd回车,输入mysql-uroot-p登录成功 ......
  • 2022.8.22 颓废记录
    Preface没有序言Content[luoguP4059][Code+#1]找爸爸题面太长难以概括,不写简要题目了QAQ。首先发现,肯定没有两个对应位置都是空格的,否则可以去掉让答案更优。因此......
  • 训练记录
    ------------恢复内容开始------------D2.BurenkaandTraditions(hardversion)很漂亮的一道题吧我们可以知道我们12花费是一样的你花费1的时候也可以用2来搞一搞......
  • 记录一个bug
    bugdebugdebug分析,思考角度确保sql没有问题的情况下,那就考虑修改实体类,因为往实体类中装数据,通过反射创建对象,通过反射设置的值参考链接https://......
  • 记录vue
    #查看版本node-v#安装Node.js淘宝镜像加速器(cnpm)注意源地址已经改变npminstall-gcnpm--registry=https://registry.npmmirror.comcnpminstallcnpm-g#全局......
  • CF刷题记录 8.22-8.26
    CF1329C不难发现,在最终的树中,叶子肯定是在原树的子树中最小的那个。而其他节点是原树的子树中大于两个叶子的最小的点,类似归并排序的做即可,偷懒写了个启发式合并。code......