首页 > 其他分享 >深度学习平台——百度AI Studio线上构建

深度学习平台——百度AI Studio线上构建

时间:2023-04-04 19:40:53浏览次数:51  
标签:yolov3 训练 AI PaddleDetection Studio 线上 yml


PaddleDetection的安装和使用以及训练和评估

这里是百度的AI 开发平台:https://ai.baidu.com/ai-doc/AISTUDIO/Tk39ty6ho

目前对于个人来说的,学习深度学习的来说的,需要时一定的计算资源。但是考虑到学校实验室资源有限,所以本人采用AI系统平台的提高的服务来实现个人的实验的相关问题。后面本人将持续对相关的AI系统平台详细讲解。(亿元免费算力 | 百度大脑AI Studio重磅推出算力支持计划:亿元免费算力 | 百度大脑AI Studio重磅推出算力支持计划

百度AI Studio是针对AI学习者的在线一体化学习与实训社区. 本平台集合了AI教程, 深度学习样例工程, 各领域的经典数据集, 云端的超强运算及存储资源, 以及比赛平台和社区.从而解决学习者在AI学习过程中的一系列难题, 例如教程水平不一, 教程和样例代码难以衔接, 高质量的数据集不易获得, 以及本地难以使用大体量数据集进行模型训练.

怎么样安装的安装PaddleDetection

所有的代码都是在百度AI Studio平台实现的这样的一个的过程的,当然你也可以使用的自己的构建的PaddleDetection来实现的。

PaddleDetection在tools目录提供了一键式训练、评估、预测和模型导出等脚本。

PaddleDetection在deploy/cppdeploy/python文件夹下提供了C++端和python端使用Paddle预测库的预测部署的方案和文档。

PaddleDetection下载

可以通过如下git clone命令下载PaddleDetection目标检测库,由于在AIStudio上通过git clone下载比较慢,本项目在work目录下提供下载好的PaddleDetection压缩包,也可直接解压使用。

深度学习平台——百度AI Studio线上构建_配置文件

PaddleDetection安装环境

//1安装依赖
pip install -r requirements.txt
//2配置环境本地路径到系统中
env PYTHONPATH=.:$PYTHONPATH
//3.添加的GPU的训练的到系统环境变量中
env CUDA_VISIBLE_DEVICES=0

深度学习平台——百度AI Studio线上构建_数据集_02

查看是否有启用GPU和CPU

深度学习平台——百度AI Studio线上构建_数据集_03

深度学习平台——百度AI Studio线上构建_深度学习_04

 使用的PaddleDetection训练

PaddleDetection提供一键式训练、评估、预测等脚本`tools/train.py` `tools/eval.py` `tools/infer.py`,可通过`-c`参数指定配置文件进行一键式训练,`yolov3_darknet`模型的训练权重默认存储于`output/yolov3_darknet`目录。

- 若需要训练中评估,可以使用`--eval`参数指定
- 若使用CPU运行PaddleDetection,可指定`-o use_gpu=False`,不建议在CPU下训练模型
- 本项目演示使用COCO的`val`数据集训练,对配置文件做如下修改(使用`train`数据集不需要做以下修改,可以直接一键式启动训练),`work`目录下提供了一个修改好的配置文件,也可在`configs`目录(即`data/PaddleDetection/configs`目录)下按照如下方式自行修改`yolov3_darknet.yml`和`yolov3_reader.yml`
  1. `yolov3_reader.yml`中修改`TrainReader.dataset`的`anno_path`和`image_dir`为`val`数据集路径, `mixup_epoch`修改为`0`
  2. 由于使用单卡训练,`yolov3_darknet.yml`中将`LearningRate.base_lr`减少8倍到`0.000125`
  3. `yolov3_darknet.yml`中将训练轮数`max_iters`减小到`50000`, 减少`PiecewiseDecay`的`milestones`到`[40000, 45000]`
**注:** 此处仅展示一键式训练,训练完成比较耗时(4小时左右),此处不完成完整训练,可直接中断训练,不影响后续演示,后续使用PaddleDetection发布的权重进行预测。

深度学习平台——百度AI Studio线上构建_百度_05

深度学习平台——百度AI Studio线上构建_深度学习_06

博文参考

标签:yolov3,训练,AI,PaddleDetection,Studio,线上,yml
From: https://blog.51cto.com/u_13643065/6169255

相关文章

  • MYSQL-Explain详解
    --实际SQL,查找用户名为Jefabc的员工select*fromempwherename='Jefabc';--查看SQL是否使用索引,前面加上explain即可explainselect*fromempwherename='Jefabc';expain出来的信息有10列,分别是id、select_type、table、type、possible_keys、key、key_len、ref......
  • 记几次 [线上环境] Dubbo 线程池占满原因分析(第二次:CompletableFuture)
    转载:https://blog.csdn.net/wsmalltiger/article/details/124236189文章目录[线上环境]Dubbo线程池占满原因排查系列前言一、问题分析1、分析日志2、定位原因二、解决方案三、总结前言  某天早上9点左右收到线上故障报警,超过3个商家反馈“无法正常进入功能页面,点击相关操作提......
  • 记几次 [线上环境] Dubbo 线程池占满原因分析(第一次:HttpClient)
    转载:https://blog.csdn.net/wsmalltiger/article/details/124236055前言  我们一个核心应用,线上部署了4台机器(4c8g),某天晚上8点左右线上忽然出现dubbo线程池占满告警,上游应用error日志也疯狂报警,整个过程持续了4分钟左右系统自动恢复正常。  dubbo默认200个线程池,报错日志信......
  • blockchain | 通过truffle编写合约
    blockchain|通过truffle编写合约有了前两篇环境搭建的基础,开始编写智能合约。(虽然部署了geth,但是truffle也有自带的私有链子环境可以用)参考官方文档:https://learnblockchain.cn/docs/truffle/quickstart.html#creating-a-project以及教程:https://www.qikegu.com/docs/4782......
  • 提升Azure OpenAI回答质量,嵌入还是微调?
    1                  如何让AzureOpenAI回答质量提升?相信大家在使用ChatGPT的时候,经常会遇到它一本正经的胡说八道,一些看似说得非常有道理,但是又总觉得哪里不对。比如下面例子:为什么ChatGPT会出现这样的问题呢?因为GPT模型是生成式的,所以它们不会生成“事实”或......
  • 如何基于AI算法实现智慧工厂视频大数据智能预警平台搭建?
    当前我国正处于数字经济高速发展的时代,企业正面临着数字化“转型升级”的需求。那么,工厂该如何实现智能化转型目标呢?EasyCVR视频融合平台与AI智能分析网关,融合了边缘AI智能识别技术,部署了多种AI算法,能实现人脸、人体、车辆、物体、行为等智能检测,在工厂的智慧转型场景中发挥着重要......
  • 线上发现了bug该如何处理
    线上发现了bug该如何处理今天在国外论坛看到了个很有意思的发帖,有人提问:线上发现了bug该如何处理。我知道大家已经问过很多次类似的问题了,不过工作还是很让我失望。我在生产环境上漏掉了1个很明显的bug没测出来,我想知道你们是怎么处理这种情况的。我的项目经理发现了这个bug。......
  • 智能AI代码工具Cursor的使用
      //ImportnecessarynamespacesusingSystem.Net.Http;usingSystem.Text;usingSystem.Threading.Tasks;//DefineamethodtosendamessagetotheWeChatgrouppublicasyncTaskSendMessageToWeChatGroup(stringmessage){//DefinetheWeChatgro......
  • 记几次 [线上环境] Dubbo 线程池占满原因分析(第三次:GC STW)
    转载:https://blog.csdn.net/wsmalltiger/article/details/124236206前言  某天晚上正在开开心心写代码,忽然收到了线上告警:dubbo线程池活跃线程数告警、应用错误日志告警、dubbo线程池队列长度告警;瞬间意识到要出大事情了,得赶紧定位到原因并解决问题,不然时间长了肯定会影响商......
  • Vulnhub之Mumbai靶机详细测试过程
    Mumbai作者:jasonhuawen靶机信息名称:Mumbai:1地址:https://www.vulnhub.com/entry/mumbai-1,372/识别目标主机IP地址─(kali㉿kali)-[~/Desktop/Vulnhub/Mumbai]└─$sudonetdiscover-ieth1-r192.168.56.0/24Currentlyscanning:192.168.56.0/24|Screen......