首页 > 其他分享 >Colab_解决训练卡在第一个epoch且step不动的问题

Colab_解决训练卡在第一个epoch且step不动的问题

时间:2023-02-05 17:11:34浏览次数:52  
标签:Colab step content epoch install pyunpack pip

一.问题
如果在使用colab时遇到卡在第一个epoch且step一动不动的情况,大概率是因为需要读取的数据集路径在你的谷歌网盘下,这样就需要联网读取数据到你的云端虚拟电脑中,会导致在第一个epoch异常缓慢甚至卡住。
二.解决办法
将数据集压缩后上传至谷歌云盘,在训练时使用linux指令将数据集直接解压到云端虚拟硬盘的/content路径下。注意修改代码中的有关路径。
三.示例代码

!pip install pyunpack
!pip install patool
from pyunpack import Archive
Archive('/content/drive/MyDrive/asr-seq2seq/data/data_aishell.rar').extractall('/content')

ps:我的数据集压缩包格式为rar,其他类型压缩包解压指令请自行百度

标签:Colab,step,content,epoch,install,pyunpack,pip
From: https://www.cnblogs.com/fly-smart/p/17093614.html

相关文章

  • Step-By-Step: Creating a SQL Server Always On Availability Group
    Skiptomaincontent  SearchSignIn  Home  ITOpsTalk  ITOpsTalkBlog  Step-By-Step:CreatingaSQLSe......
  • caddyserver step-ca 集成
    最近在学习caddy2的一些新特性,以前大致看过step-ca这个强大的证书管理工具,所以集成caddy+step-ca的acme进行测试下因为acme需要对于dns进行校验,但是因为自己是本地......
  • step-ca ha 模式说明
    step-ca是一个很不错的开源ca管理工具,但是如果实际使用就存在ca的问题,实际上官方也说明了ha的玩法,但是因为step-ca在架构设计上并不是完全分布式的,所以还是有一些问题......
  • colab在更换python包版本时,如何正确重启
    当我在使用Node2Vec这个包的时候,遇到了gem和numpy的版本冲突问题。最后在pc上测试,发现只要升级numpy就能解决问题。但是在colab中更新numpy版本依旧报错。后面才发现,就算在c......
  • colab在更换python包版本时,如何正确重启
    当我在使用Node2Vec这个包的时候,遇到了gem和numpy的版本冲突问题。最后在pc上测试,发现只要升级numpy就能解决问题。但是在colab中更新numpy版本依旧报错。后面才发现,就算在......
  • step-ca ha 模式说明
    step-ca是一个很不错的开源ca管理工具,但是如果实际使用就存在ca的问题,实际上官方也说明了ha的玩法,但是因为step-ca在架构设计上并不是完全分布式的,所以还是有一些问题......
  • caddyserver step-ca 集成
    最近在学习caddy2的一些新特性,以前大致看过step-ca这个强大的证书管理工具,所以集成caddy+step-ca的acme进行测试下因为acme需要对于dns进行校验,但是因为自己是本地......
  • Colab_使用教程
    一.翻过那道墙1.我这梯子十分滴珍贵,不细说,大伙儿各显神通吧二.注册谷歌账号1.解决注册谷歌账号手机号不能验证的问题:最新注册谷歌账号手机号不能验证的有效跳过手机号验......
  • STEP-WISE温控系统
    本章节分析governor之一的step_wise。1、基本术语概念在介绍之前,先介绍几个术语概念来帮助大家理解:1.1trippoint可以理解为一个阈值吧,每一个温度区间的阈值可以理解......
  • 洛谷P3654 First Step题解
    这是一道暴力枚举。 大致题意:R行C列的棋盘要放下长度为K的线段,“#”表示无法放置,问有多少种放置方法。直接贴代码:#include<bits/stdc++.h>usingnamespacestd;i......