首页 > 其他分享 >使用Colab Pro高性能计算

使用Colab Pro高性能计算

时间:2024-08-02 15:07:06浏览次数:11  
标签:google Colab Pro drive 高性能 时间 colab

购买Colab Pro

  1. 需要Master或Visa卡
  2. 默认连续包月,只购买一个月需要在“设置-Colab Pro-管理订阅”退订,使用时间不受退订时间影响,按照最后一次付款时间算
  3. 淘宝有代订店铺,参见https://blog.csdn.net/qq_51302564/article/details/115605994

使用体验

显卡情况

  1. L4和A100相差不大
  2. 运行时间是本地4090的两倍
  3. 100个计算量/每天,使用时长由GPU和内存的使用情况决定,跑60000的图片数据集,7个小时就用完了
  4. 代码跑完立刻断开连接,否则还会计算时长,今天白白浪费了1个小时的算力

为什么用了A100比笔记本的CPU速度还慢?——数据存储问题

  1. colab中/content下面的内容在会话结束后被清空
  2. 像代码这样的小文件最好放在google drive内,通过挂载,实现colab的使用
    from google.colab import drive
    drive.mount('/content/drive')
  3. 像数据这样的大文件不能通过挂载使用,从google drive读数据的时间,是数据计算时间的几十倍,时间都浪费在读数据上了。之所以会出现A100比笔记本CPU还慢就是因为时间花在读数据上
  4. 数据要放在'/content'下面,可以通过google drive产生分享链接,然后将google drive的分享链接改写成可下载的网址,通过wget(数据量不太大)或gdown(大量数据)下载,具体方式参考https://blog.csdn.net/whywww/article/details/122311304
  5. 虽然会话每次重启都要重新下载数据,但colab的下载速度可以达到100+M/s,非常快,一分钟的下载时间换几十个小时的读取时间,很划算了。

标签:google,Colab,Pro,drive,高性能,时间,colab
From: https://www.cnblogs.com/bregman/p/18338771

相关文章

  • protobuf编译和安装
    编译环境介绍:ubuntu24.04LTSgcc(Ubuntu13.2.0-23ubuntu4)13.2.0g++(Ubuntu13.2.0-23ubuntu4)13.2.0cmakeversion3.28.3 #下载源码gitclonehttps://github.com/protocolbuffers/protobuf.gitcdprotobufgitsubmoduleupdate--init--recursi......
  • 基于STC8H系列单片机的串口1打印片内EEPROM擦除数据、读取数据、写入数据功能调试
    基于STC8H系列单片机的串口1打印片内EEPROM擦除数据、读取数据、写入数据功能调试STC8H4K64TL单片机介绍STC8H4K64TL单片机管脚图(48个引脚)STC8H4K64TL单片机串口仿真与串口通信STC8H4K64TL单片机管脚图(32个引脚)STC8H4K64TL单片机管脚图(20个引脚)STC8H系列单片机管脚......
  • UFS4.0/UFS3.1/Unipro总线协议分析仪
    UFS4.0/UFS3.1/Unipro总线协议分析仪(Analyzer)&训练器(Exerciser):全球市场占有率排名第一的UFS/Unipro总线协议分析仪厂商,支持MIPIM-PHYv5.0GEAR5,UniProv2.0andUFSv4.0等规格测试并支持向下兼容。ProtocolInsight为开发移动设备的客户提供测试和测量工具,并为UFS的......
  • profibus DP 使用半双工的485物理层为什么可以支持多个主站
    profibusDP使用半双工的485物理层为什么可以支持多个主站 PROFIBUSDP(DecentralizedPeripherals)是一个用于工业自动化的高速现场总线协议,广泛用于连接各种设备如传感器、执行器和控制器。PROFIBUSDP使用了RS-485物理层来实现数据传输。RS-485是一......
  • MATH3024 PROJECT
    MATH3024 PROJECTTASKCreatea modelforacomplex system inspired by one ofthefollowing lyrics:“Despite all my rage, I am s1ll just a rat in a cage”“I,am thinkingit'sa sign, thatthe frecklesin our eyes, are mirrorimag......
  • 高性能数据库架构:掌握主从复制技术
    一、数据库主从复制的概念数据库主从复制是一种常用的技术,用于提高数据库系统的可用性、性能和可靠性。通过将数据从主数据库(master)复制到从数据库(slave),可以实现数据的备份、负载均衡和高可用性。以下是对数据库主从复制的详细解释及其在MySQL中的具体实现步骤和示例。1.......
  • Lab0 C Programming Lab(CMU)(CSAPP深入理解计算机系统)
    该文章是我在别处写的小随笔,现在转过来实验下载地址15-213/14-513/15-513:IntrotoComputerSystems,Spring2022大致要求1.Linux命令行基础2.C语言基础3.数据结构基础(链表基本操作)4.基本英语阅读能力大致操作下载.tar文件,解压后对着README操作即可;简单来说,允许直......
  • javascript: vue create project in WebStorm
     route/index.js import{createRouter,createWebHistory,createWebHashHistory}from'vue-router'importHomeViewfrom'../views/HomeView.vue'importAboutViewfrom"../views/AboutView.vue";constrouter=createRouter(......
  • es6-promise-polyfill 自己实现promise.js
       https://github.com/lahmatiy/es6-promise-polyfill/blob/master/promise.js  (function(global){////CheckfornativePromiseandithascorrectinterface//varNativePromise=global['Promise'];varnativePromiseSupported=NativePr......
  • prometheus 通过 API 接口删除指定数据
    prometheus通过API接口删除指定数据curl-XPOST-g'http://127.0.0.1:9090/api/v1/admin/tsdb/delete_series?start=1660723273&end=1667894433&match[]=node_cpu_seconds_total{mode="idle"}'linux可以使用date +%s获得当前的时间戳,可以使用date -d ......