首页 > 其他分享 >实践教程|GPU 利用率低常见原因分析及优化

实践教程|GPU 利用率低常见原因分析及优化

时间:2023-04-07 14:57:58浏览次数:52  
标签:教程 data CPU tf GPU Dataset 数据 利用率

前言 GPU 利用率低, GPU 资源严重浪费?本文和大家分享一下解决方案,希望能对使用 GPU 的同学有些帮助。

本文转载自小白学视觉

仅用于学术分享,若侵权请联系删除

欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

CV各大方向专栏与各个部署框架最全教程整理

计算机视觉入门1v3辅导班

一、GPU 利用率的定义

本文的 GPU 利用率主要指 GPU 在时间片上的利用率,即通过 nvidia-smi 显示的 GPU-util 这个指标。统计方式为:在采样周期内,GPU 上面有 kernel 执行的时间百分比。

二、GPU 利用率低的本质

常见 GPU 任务运行流程图如下:

如上图所示,GPU 任务会交替的使用 CPU 和 GPU 进行计算,当 CPU 计算成为瓶颈时,就会出现 GPU 等待的问题,GPU 空跑那利用率就低了。那么优化的方向就是缩短一切使用 CPU 计算环节的耗时,减少 CPU 计算对 GPU 的阻塞情况。常见的 CPU 计算操作如下:

  • 数据加载
  • 数据预处理
  • 模型保存
  • loss 计算
  • 评估指标计算
  • 日志打印
  • 指标上报
  • 进度上报

三、常见 GPU 利用率低原因分析

1、数据加载相关

1)存储和计算跨城了,跨城加载数据太慢导致 GPU 利用率低

说明:例如数据存储在“深圳 ceph”,但是 GPU 计算集群在“重庆”,那就涉及跨城使用了,影响很大。

优化:要么迁移数据,要么更换计算资源,确保存储及计算是同城的。

2)存储介质性能太差

说明:不同存储介质读写性能比较:本机 SSD > ceph > cfs-1.5 > hdfs > mdfs

优化:将数据先同步到本机 SSD,然后读本机 SSD 进行训练。本机 SSD 盘为“/dockerdata”,可先将其他介质下的数据同步到此盘下进行测试,排除存储介质的影响。

3)小文件太多,导致文件 io 耗时太长

说明:多个小文件不是连续的存储,读取会浪费很多时间在寻道上

优化:将数据打包成一个大的文件,比如将许多图片文件转成一个 hdf5/pth/lmdb/TFRecord 等大文件

lmdb 格式转换样例:https://github.com/Lyken17/Efficient-PyTorch#data-loader

其他格式转换方式请自行谷歌

4)未启用多进程并行读取数据

说明:未设置 num_workers 等参数或者设置的不合理,导致 cpu 性能没有跑起来,从而成为瓶颈,卡住 GPU

优化:设置 torch.utils.data.DataLoader 方法的 num_workers 参数、tf.data.TFRecordDataset 方法的 num_parallel_reads 参数或者 tf.data.Dataset.map 的 num_parallel_calls 参数。

5)未启用提前加载机制来实现 CPU 和 GPU 的并行

说明:未设置 prefetch_factor 等参数或者设置的不合理,导致 CPU 与 GPU 在时间上串行,CPU 运行时 GPU 利用率直接掉 0

优化:设置 torch.utils.data.DataLoader 方法的 prefetch_factor 参数 或者 tf.data.Dataset.prefetch()方法。prefetch_factor 表示每个 worker 提前加载的 sample 数量 (使用该参数需升级到 pytorch1.7 及以上),Dataset.prefetch()方法的参数 buffer_size 一般设置为:tf.data.experimental.AUTOTUNE,从而由 TensorFlow 自动选择合适的数值。

6)未设置共享内存 pin_memory

说明:未设置 torch.utils.data.DataLoader 方法的 pin_memory 或者设置成 False,则数据需从 CPU 传入到缓存 RAM 里面,再给传输到 GPU 上

优化:如果内存比较富裕,可以设置 pin_memory=True,直接将数据映射到 GPU 的相关内存块上,省掉一点数据传输时间

2、数据预处理相关

1)数据预处理逻辑太复杂

说明:数据预处理部分超过一个 for 循环的,都不应该和 GPU 训练部分放到一起

优化:

a、设置 tf.data.Dataset.map 的 num_parallel_calls 参数,提高并行度,一般设置为 tf.data.experimental.AUTOTUNE,可让 TensorFlow 自动选择合适的数值。

b、将部分数据预处理步骤挪出训练任务,例如对图片的归一化等操作,提前开启一个 spark 分布式任务或者 cpu 任务处理好,再进行训练。

c、提前将预处理部分需要用到的配置文件等信息加载到内存中,不要每次计算的时候再去读取。

d、关于查询操作,多使用 dict 加速查询操作;减少 for、while 循环,降低预处理复杂度。

2)利用 GPU 进行数据预处理 -- Nvidia DALI

说明:Nvidia DALI 是一个专门用于加速数据预处理过程的库,既支持 GPU 又支持 CPU

优化:采用 DALI,将基于 CPU 的数据预处理流程改造成用 GPU 来计算

DALI 文档如下:https://zhuanlan.zhihu.com/p/105056158

3、模型保存相关

1)模型保存太频繁

说明:模型保存为 CPU 操作,太频繁容易导致 GPU 等待

优化:减少保存模型(checkpoint)的频率

4、指标相关

1)loss 计算太复杂

说明:含有 for 循环的复杂 loss 计算,导致 CPU 计算时间太长从而阻塞 GPU

优化:该用低复杂度的 loss 或者使用多进程或多线程进行加速

2)指标上报太频繁

说明:指标上报操作太频繁,CPU 和 GPU 频繁切换导致 GPU 利用率低

优化:改成抽样上报,例如每 100 个 step 上报一次

5、日志相关

1)日志打印太频繁

说明:日志打印操作太频繁,CPU 和 GPU 频繁切换导致 GPU 利用率低

优化:改成抽样打印,例如每 100 个 step 打印一次

四、常见数据加载方法说明

1、pytorch 的 torch.utils.data.DataLoader

DataLoader(dataset, batch_size=1, shuffle=False, sampler=None,
           batch_sampler=None, num_workers=0, collate_fn=None,
           pin_memory=False, drop_last=False, timeout=0,
           worker_init_fn=None, *, prefetch_factor=2,
           persistent_workers=False)

从参数定义中,我们可以看到 DataLoader 主要支持以下几个功能:

  • 支持加载 map-style 和 iterable-style 的 dataset,主要涉及到的参数是 dataset
  • 自定义数据加载顺序,主要涉及到的参数有 shuffle, sampler, batch_sampler, collate_fn
  • 自动把数据整理成 batch 序列,主要涉及到的参数有 batch_size, batch_sampler, collate_fn, drop_last
  • 单进程和多进程的数据加载,主要涉及到的参数有 num_workers, worker_init_fn
  • 自动进行锁页内存读取 (memory pinning),主要涉及到的参数 pin_memory
  • 支持数据预加载,主要涉及的参数 prefetch_factor

参考文档:https://pytorch.org/docs/stable/data.html

2、tensorflow 的 tf.data.Dataset

ds_train = tf.data.Dataset.from_tensor_slices((x,y))\
    .shuffle(5000)\
    .batch(batchs)\
    .map(preprocess,num_parallel_calls=tf.data.experimental.AUTOTUNE)\
    .prefetch(tf.data.experimental.AUTOTUNE)
  • Dataset.prefetch(): 可以让数据集对象 Dataset 在 å 训练时预取出若干个元素,使得在 GPU 训练的同时 CPU 可以准备数据,提升训练流程的效率
  • Dataset.map(f): 转换函数 f 映射到数据集每一个元素; 可以利用多 CPU 资源,充分利用多核心的优势对数据进行并行化变换, num_parallel_calls 设置为 tf.data.experimental.AUTOTUNE 以让 TensorFlow 自动选择合适的数值,数据转换过程多进程执行,设置 num_parallel_calls 参数能发挥 cpu 多核心的优势
  • Dataset.shuffle(buffer_size): 将数据集打乱,取出前 buffer_size 个元素放入,并从缓冲区中随机采样,采样后的数据用后续数据替换
  • Dataset.batch(batch_size):将数据集分成批次,即对每 batch_size 个元素,使用 tf.stack() 在第 0 维合并,成为一个元素

参考文档:https://www.tensorflow.org/api_docs/python/tf/data/Dataset#methods_2

五、分布式任务常见的 GPU 利用率低问题

分布式任务相比单机任务多了一个机器间通信环节。如果在单机上面运行的好好的,扩展到多机后出现 GPU 利用率低,运行速度慢等问题,大概率是机器间通信时间太长导致的。请排查以下几点:

1、机器节点是否处在同一 modules?

答:机器节点处于不同 modules 时,多机间通信时间会长很多,deepspeed 组件已从平台层面增加调度到同一 modules 的策略,用户不需要操作;其他组件需联系我们开启。

2、多机时是否启用 GDRDMA?

答:能否启用 GDRDMA 和 NCCL 版本有关,经测试,使用 PyTorch1.7(自带 NCCL2.7.8)时,启动 GDRDMA 失败,和 Nvidia 的人沟通后确定是 NCCL 高版本的 bug,暂时使用的运行注入的方式来修复;使用 PyTorch1.6(自带 NCCL2.4.8)时,能够启用 GDRDMA。经测试,“NCCL2.4.8 + 启用 GDRDMA ” 比 “NCCL2.7.8 + 未启用 GDRDMA”提升 4%。通过设置 export NCCL_DEBUG=INFO,查看日志中是否出现[receive] via NET/IB/0/GDRDMA 和 [send] via NET/IB/0/GDRDMA,出现则说明启用 GDRDMA 成功,否则失败。

3、pytorch 数据并行是否采用 DistributedDataParallel ?

答:PyTorch 里的数据并行训练,涉及 nn.DataParallel (DP) 和nn.parallel.DistributedDataParallel (DDP) ,我们推荐使用 nn.parallel.DistributedDataParallel (DDP)。

 

欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。

计算机视觉入门1v3辅导班

【技术文档】《从零搭建pytorch模型教程》122页PDF下载

QQ交流群:470899183。群内有大佬负责解答大家的日常学习、科研、代码问题。

其它文章

深度学习训练模型时,GPU显存不够怎么办?

deepInsight:一种将非图像数据转换图像的方法

ICLR2023|基于数据增广和知识蒸馏的单一样本训练算法

拯救脂肪肝第一步!自主诊断脂肪肝:3D医疗影像分割方案MedicalSeg

AI最全资料汇总 | 基础入门、技术前沿、工业应用、部署框架、实战教程学习

改变几行代码,PyTorch炼丹速度狂飙、模型优化时间大减

AAAI 2023 | 轻量级语义分割新范式: Head-Free 的线性 Transformer 结构

TSCD:弱监督语义分割新方法,中科院自动化所和北邮等联合提出

如何用单个GPU在不到24小时的时间内从零开始训练ViT模型?

CVPR 2023 | 基于Token对比的弱监督语义分割新方案!

比MobileOne还秀,Apple将重参数与ViT相结合提出FastViT

CVPR 2023 | One-to-Few:没有NMS检测也可以很强很快

ICLR 2023 | Specformer: Spectral GNNs Meet Transformers

重新审视Dropout

RestoreDet:低分辨率图像中目标检测

AAAI 2023 | 打破NAS瓶颈,AIO-P跨任务网络性能预测新框架

CLIP:语言-图像表示之间的桥梁

目标检测Trick | SEA方法轻松抹平One-Stage与Two-Stage目标检测之间的差距

少样本学习综述:技术、算法和模型

CVPR 2023 | 标注500类,检测7000类!清华大学等提出通用目标检测算法UniDetector

CVPR 2023|基于多层多尺度重建任务的MIM改进算法

CVPR 2023 | 超越MAE!谷歌提出MAGE:图像分类和生成达到SOTA!

称霸Kaggle的十大深度学习技巧

CVPR 2023 | 用于半监督目标检测的知识蒸馏方法

目标跟踪方向开源数据集资源汇总

CVPR2023 | 书生模型霸榜COCO目标检测,研究团队解读公开

Vision Transformer的重参化也来啦 | RepAdpater让ViT起飞

高效压缩99%参数量!轻量型图像增强方案CLUT-Net开源

一文了解 CVPR 2023 的Workshop 都要做什么

CVPR'23 最新 70 篇论文分方向整理|包含目标检测、图像处理、人脸、医学影像、半监督学习等方向

目标检测无痛涨点新方法 | DRKD蒸馏让ResNet18拥有ResNet50的精度

PyTorch 2.0正式版来了!

CVPR2023最新Backbone | FasterNet远超ShuffleNet、MobileNet、MobileViT等模型

CVPR2023 | 集成预训练金字塔结构的Transformer模型

AAAI 2023 | 一种通用的粗-细视觉Transformer加速方案

大核分解与注意力机制的巧妙结合,图像超分多尺度注意网络MAN已开源!

计算机视觉各个方向交流群与知识星球

CV小知识讨论与分析(7) 寻找论文创新点的新方式

CV小知识分析与讨论(6)论文创新的一点误区

计算机视觉入门1v3辅导班

计算机视觉交流群

聊聊计算机视觉入门

标签:教程,data,CPU,tf,GPU,Dataset,数据,利用率
From: https://www.cnblogs.com/wxkang/p/17296139.html

相关文章

  • mysql+navicat安装配置教程
    一、MySQLl和Navicat的关系Mysql一个关系型数据库管理系统,由瑞典MysqlLAB公司开发,目前属于Oracle旗下产品,是目前最流行的关心型数据库管理系统之一。Navicat一个数据库管理工具,用可视化界面提供给用户操作Mysql数据库管理系统。记得我第一次安装Navicat之后,就以为......
  • Xshell7免费版安装教程
    一、背景最近我正在寻找一款可靠的远程连接管理软件,以便能够更方便地管理我的计算机。然而,我花了很长时间在网上搜索,但一直没有找到适合我的软件。最终,我在不断地尝试和搜索中,发现了Xshell7这个软件,于是开始了我的远程连接管理之旅。在寻找远程连接管理软件的过程中,我一直遇到了......
  • Chrome 发布首个 WebGPU 实现
    Chrome团队宣布,经过多年的开发,他们终于发布了WebGPU实现,目前已在Chrome113Beta中默认启用。WebGPU可用于在Web上进行高性能3D图形和数据并行计算。WebGPU初始版本可以在ChromeOS、macOS和Windows上使用,对其他平台的支持将于今年晚些时候推出。WebGPU是由......
  • sqlmap基本使用教程
    转载于https://blog.csdn.net/m0_46230316/article/details/105290227如有侵权,联系删除,感谢......
  • 【manim动画教程】-- 文本样式
    文本的样式主要指颜色和字体相关的属性设置。对于manim的两个文本对象Text和Tex来说,Text对象有更多的属性可以调整样式,相对来说,由于Tex主要用来显示数学公式,所以关于样式的属性要少一些。下面介绍一些我在视频制作时最常用的一些颜色和字体相关的属性。1.颜色相关颜色设......
  • 杭州CDC测序实验室教程
    非常棒的教程~https://indexofire.github.io/pathongs/book/main/ PulseNet(病原菌分子分型监测网络)是美国CDC于1998年5月由副总统在白宫宣布成立的,这个网络是利用标准化的细菌实验室分子分型技术、通过分布各地的网络实验室的实际检测和监测,建立网络平台及时交流和比对数据、从......
  • 如何获得OpenAI API Key及OpenAI绑卡充值教程
    原帖地址:如何获得OpenAIAPIKey及OpenAI绑卡充值教程参考:使用虚拟信用卡升级ChatGPTPlus及OpenAI付款设置教程如果您想使用OpeanAIAPI开发一个聊天机器人或者使用OpenAIAPI进行自动化办公,您首先要创建一个OpenAIAPIKey,方法如下:打开platform.openai.com,输入你的OpenAI帐号......
  • Magento 1.9.X 系列教程
    Magento安装下载教学:Magento教程1:免费购物车系统,轻松建立Magento第一步!Magento教程2:Magento社群版安装教学!Magento教程3:如何在Magento社群版(CommunityEdition)安装范例资料?Magento工作流程:Magento教程4:主机环境准备Magento教程5:系统安装与备份Magento教程6:商店设定与参数......
  • 快速学习反假币教程(仅供交流使用)
    仅供交流使用,如有侵权请联系[email protected] 反假币跳过十五分钟(仅供交流使用)以edge浏览器为例1.打开edge浏览器输入:http://wechat.renzhenwh.com/studyExam/examLogin2.按电脑F12打开开发者工具3.在edge上输入账号密码登录4.查看开发者工具,进行如下操作,复制Cookie后......
  • 自己动手从零写桌面操作系统GrapeOS系列教程——1.2 GrapeOS真机演示
    学习操作系统原理最好的方法是自己写一个简单的操作系统。GrapeOS操作系统之前一直运行在模拟器和虚拟机中,今天我们来演示一下GrapeOS在真机上运行的情况。一、物理机真机今天演示用的真机是一台ThinkPad笔记本电脑,照片如下:二、开机桌面按电脑的电源按钮开机,由于GrapeOS......