首页 > 其他分享 >Paddle项目调试记录

Paddle项目调试记录

时间:2023-03-20 13:08:02浏览次数:48  
标签:记录 安装 Paddle CUDA https 博主 txt 数据 调试


PaddlePaddle是百度公司提出的深度学习框架。近年来深度学习在很多机器学习领域都有着非常出色的表现,在图像识别、语音识别、自然语言处理、机器人、网络广告投放、医学自动诊断和金融等领域有着广泛应用。面对繁多的应用场景,深度学习框架有助于建模者节省大量而繁琐的外围工作,更聚焦业务场景和模型设计本身。

写在前面

首先我们先去下载github下载源码:

​https://github.com/PaddlePaddle​

随后我们进入Paddle的官网地址 (很重要

https://www.paddlepaddle.org.cn/

这里一定要按照官网给出的版本进行对应。

Paddle项目调试记录_数据集

前期准备

博主先前装的是CUDA11.7,但总是出问题,根本原因是这个CUDA是打游戏时使用的,而非我们在做专业计算时使用的,随后博主安装的CUDA版本为11.6,对应的cudnn为8.4。
具体安装教程可以参考博主这篇博文:

CUDA下载地址:

https://developer.nvidia.com/cuda-toolkit-archive

cudnn下载地址:

https://developer.nvidia.com/rdp/cudnn-archive

值得一提的是,CUDA的安装与你的显卡以及系统版本有关,比如30系显卡只能安装CUDA11以上,而 CUDA11.2 最高只能支持到 Windows10 版本
将这些CUDA环境安装好后我们就可以开始配置对应的CUDA虚拟环境了。

环境配置

首先是创建cuda环境

conda create  -n paddle python=3.7

随后切换到项目主目录,安装requirement中指定的依赖包

pip install -r requirements.txt --index-url https://pypi.douban.com/simple

这个时间可能需要很久,耐心等待。
此时我们可以另开一个cmd窗口来安装paddle,大家按照官网给定的版本命令来执行即可,博主是CUDA11.6

conda install paddlepaddle-gpu==2.4.2 cudatoolkit=11.6 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/ -c conda-forge

随后安装完成,此时我们的环境就基本没有什么问题了,接下来便是调试程序了。

代码调试

paddle中给我们了详细的步骤,我们安装其要求来即可。(呜呜呜,虽然如此,这个项目连同环境配置到代码调试花费了我一整天的时间)
首先是数据集准备,博主使用的是Cityscapes数据集。
在这里博主用血和泪的教训告诉大家一定要了解你所用的数据集,否则你会遇到许多不必要的麻烦。

数据集介绍

Cityscapes大致有两个数据集,分别为精细的标注数据集(3475张训练图像,1525张测试图像)和粗糙的标注数据集(3475+19888张额外的粗糙标注),共19个类别,我们一般只使用精确的那个。

该数据集下载时需要使用到一个edu邮箱账号,如果没有的话可以去淘宝上买一个,或者找下网盘资源。

下载完成后主要用到的就是这两个文件,分别是语义分割的标注文件与图像数据。

Paddle项目调试记录_CUDA_02


随后通过paddle项目中的tools/data/create_dataset_list.py来生成数据集,修改下数据集的地址与对应的format即可:

Paddle项目调试记录_数据集_03

format是图片匹配格式,即根据图像后缀名匹配

Paddle项目调试记录_paddle_04

生成格式为:

源数据图像 标注数据图像

分别生成train.txt,val.txt.test.txt文件在你指定的数据集目录下。

Paddle项目调试记录_数据集_05


随后便是数据集配置文件的修改了,按照官方给出的提示,在config/quick_start/pp_liteseg_optic_disc_512x512_1k.yml内修改,这里可以自己如果使用自己的数据集再重新创建一下即可。

主要修改这里即可:

Paddle项目调试记录_CUDA_06


Paddle项目调试记录_python_07

随后在train.py中指定一下数据集路径即可,然后我们便可以进行运行了。运行成功。

Paddle项目调试记录_python_08

至于val.py,将数据集地址修改后也是手到擒来。

Paddle项目调试记录_paddle_09


标签:记录,安装,Paddle,CUDA,https,博主,txt,数据,调试
From: https://blog.51cto.com/u_15876949/6132576

相关文章

  • homebrew 安装postgresql 记录
    homebrew安装记录homebrew可以更好的在mac或liunx上管理软件包,其具有以下优点:Homebrew会将软件包安装到独立目录,并将其文件软链接至/opt/homebrew。Homebrew......
  • Windbg使用记录
    常见问题及解决:错误提示问题解决:具体解决方案请查看:TheversionofSOSdoesnotmatchtheversionofCLRyouaredebugging;SOS.dll版本不匹配;Dump文件不同环境......
  • Xshell-7.0.0122r 记录
    通过__WriteInfoAppLog定位关键函数voidcheck_447BA0(){//[COLLAPSEDLOCALDECLARATIONS.PRESSKEYPADCTRL-"+"TOEXPAND]isactive_5252DC=sub_448470(d......
  • C++ primer 第七章记录
    1:void可以指向任何类型的对象,但是不能直接操作所指向的对象*2:常量指针可以指向非常量对象doubledval=3.14;constdouble*cptr=&dval;合法,constdouble*只......
  • kubeadm安装kubernetes和istio记录
    周末两天想折腾下k8s和istio学习下。于是用虚拟机搭了一个ubuntu22.04的服务器。国内、国内、国内环境我一开始将ip固定成192.168.50.100了一、使用kubeadm安装单机版的......
  • 【比赛记录】校赛
    \(\textcolor{orange}{义中常规赛20230319}\)\(\textcolor{green}{time:2023.3.19}\)\(\textcolor{red}{Performance:180/252(实际分数/期望分数)}\)\(\textcolor{purp......
  • 每日记录:Caused by: java.lang.NoClassDefFoundError: net/minidev/asm/FieldFilter
    错误详情:Causedby:org.springframework.beans.factory.BeanCreationException:Errorcreatingbeanwithname'requestMappingHandlerAdapter'definedinclasspat......
  • spi调试相关
    https://zhugeyifan.blog.csdn.net/article/details/117388884?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%......
  • 记录生活感悟,总结归纳技术,提供行业解决方案
    经过重新梳理,网站上线了。欢迎访问,欢迎留言呀,网址:bytes.com.cn 站点共设三个部分。一是博客文章,记录有趣或者有用的文字,相当于日记本了。二是技术知识点汇总,多年的工作经......
  • Whistle - 使用过程中遇到的问题记录
    1.过滤请求:怎么实现根据请求实体中某个参数的值,过滤该请求?比如请求路由为/go,请求方法为post,每次请求go的时候,我想过滤掉(不显示)body中space=home的请求。......