首页 > 其他分享 >tensorrt中workspace_size的理解

tensorrt中workspace_size的理解

时间:2022-10-11 11:23:20浏览次数:36  
标签:tensorrt GB workspace size com developer

首先单位是字节,比如 builder.max_workspace_size = 1<< 30 就是 2^30 bytes 即 1 GB。

它的作用是给出模型中任一层能使用的内存上限。运行时,每一层需要多少内存系统分配多少,并不是每次都分 1 GB,但不会超过 1 GB。

One particularly important property is the maximum workspace size.

  • Layer algorithms often require temporary workspace. This parameter limits the maximum size that any layer in the network can use. If an insufficient scratch is provided, it is possible that TensorRT may not be able to find an implementation for a given layer.

一个特别重要的特性是最大工作空间大小。
层算法通常需要临时工作空间。 此参数限制网络中任何层可以使用的最大大小。 如果提供的暂存不足,TensorRT 可能无法找到给定层的实现。

 workspace 作为每层网络执行时的临时存储空间,该空间是共享的以减少显存占用

参考:

https://forums.developer.nvidia.com/t/the-significance-of-builder-max-workspace-size/72364/2

https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html#build_engine_c

标签:tensorrt,GB,workspace,size,com,developer
From: https://www.cnblogs.com/chentiao/p/16778599.html

相关文章

  • sizeof与strlen的区别
    1、sizeof是一个关键字,而strlen确实一个函数。2、sizeof求的是字节长度,而strlen求的却是实际长度。比如inta=1;sizeof(a)==4而strlen(a)=13、sizeof求的是分配......
  • flutter系列之:按比例缩放的AspectRatio和FractionallySizedBox
    目录简介AspectRatioFractionallySizedBox总结简介我们在构建UI的时候,为了适应不同的屏幕大小,通常需要进行一些自适应的配置,而最常见的自适应就是根据某个宽度或者高度自......
  • el-pagination size下拉框展开时页面出现双层滚动条问题
    由于项目中给内容区域设置了单独的滚动条,无需body出现滚动条,当分页选项的下拉框展开时,出现了双层滚动条的效果不展开时的滚动条效果:  展开时的滚动条效果   ......
  • 基本数据类型的sizeof()
    基本数据类型的sizeof基本类型包括:bool,char,short,int,long,longlong,float,double32位编译器指针都是4位数据类型大小bool1char1short2int4long......
  • memset,allocate,sizeof,strlen,strcpy,strcat
    #include<stdio.h>#include<stdlib.h>#include<string.h>intmain(){//typedefstructNode{//intdata;//structNode*p;//}Node,......
  • ANOMALY: use of REX.w is meaningless (default operand size is 64)
    1、打开注册机:win+R  输入regedit2、找到目录:计算机\HKEY_LOCAL_MACHINE\SOFTWARE\TEC\Ocular.3\agent\config并添加值3、新增项新建[字符串值]hookapi_disins,数值......
  • ResizeObserver是什么?
    新来的产品经理,想做一个和qq或者微信聊天一样的,上下拖动动态改变文本内容框和编辑器布局的需求。其实一开始是一头雾水的,但是通过万能的mdn,以及充满智慧的我,最终还是完成了......
  • AutoScaleBaseSize用法粗了解
    设置窗体的大小AutoScaleBaseSize属性的值在窗体显示时使用,用来计算该窗体的缩放因子。窗体将自动缩放基大小(用作与系统的字体大小进行比较的基准),以确定使用自动缩放时窗......
  • c99中sizeof的一些疑问
    综述问题来源于力扣的一道域名访问统计题目,我本想以建立首字母索引的方式去统计,但是在申请子域名buffer的地方发现使用malloc(sizeof(char)4)申请出来的buffer每次+1只能......
  • Rust学习 - Sized trait
    Sizedtrait的作用是什么?编译期用它来识别在编译期确定大小的类型。Sizedtrait是空trait,仅仅作为标签trait供编译期使用。真正起“打标签”作用的是属性#[lang="s......