首页 > 其他分享 >【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架

时间:2023-05-28 10:35:25浏览次数:54  
标签:训练 CANN com pytorch AI Pytorch conda https 安装

前言:

在CANN训练营提供的华为云镜像环境,通过miniconda 安装pytorch和Tensorflow框架。在模型迁移前准备阶段,可以用来在CPU上对模型训练进行验证。

本文描述了安装过程,更换国内conda源、并分别下载例程,在Pytorch和Tensorflow框架下进行了CPU训练。还介绍了在Pytorch、Tensorflow虚拟环境以及不启动虚拟环境之间切换的方法。

一、概要

参考文档:https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000034.html   安装Tensorflow

https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000035.html    安装PyTorch

训练营镜像已经安装好了CANN环境,只需要安装深度学习框架Tensorflow和Pytorch。为了方便安装和使用两种框架,采取miniconda的方式进行安装,创建两个虚拟环境,分别安装这两个框架。

安装完成后,系统存在下述四种环境:无Conda环境;Pytorch环境;Tensorflow环境;Base环境。四种环境切换方式如下表所示:

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL

二、安装miniconda

1、下载miniconda

在官网查找合适的版本,根据昇腾官方建议的python版本,选择3.7的版本进行安装。

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_02

mkdir downloads && cd downloads   #创建下载目录

wget https://repo.anaconda.com/miniconda/Miniconda3-py37_23.1.0-1-Linux-x86_64.sh #下载miniconda

chmod +x Miniconda3-py37_23.1.0-1-Linux-x86_64.sh   #赋执行权限

./Miniconda3-py37_23.1.0-1-Linux-x86_64.sh  #执行安装

按提示操作,默认安装到下述目录:

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_03

安装的最后,提示

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_04

此处选择no,选择yes,登录后会自动运行conda的base环境。等需要使用时,通过conda activate 进行切换。

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_05

修改为国内conda源

vim ~/.condarc

#清华源

channels:

ssl_verify: true

也可以通过下述开关,进行设置

conda config --set auto_activate_base false

三、安装Pytorch 1.8

参考文档:https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000064.html

1、在miniconda 创建pytorch虚拟环境

创建pytorch1.8

conda create -n pt_1.8 python=3.7.5

切换到虚拟环境

conda activate pt_1.8

2、安装PyTorch环境依赖

conda install pyyaml

conda install wheel

3、安装Pytorch

CPU Only

conda install pytorch1.8.1 torchvision0.9.1 torchaudio==0.8.1 cpuonly -c pytorch

安装完成后,用conda list查看,有pytorch表示安装成功。

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_06

也可以查看pytorch版本:

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_07

4、下载pytorch官方例程

地址:https://github.com/pytorch/examples

使用git clone命令下载例程。git clone https://github.com/pytorch/examples.git

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_08

5、跑一个CPU训练

选择mnist例程,进行cpu训练。

(1)修改代码

例程综合考虑了cpu、gpu、mac gpu下的训练,我们这里使用的是cpu训练,需要将gpu、mac gpu关闭,避免因为检查gpu、mac gpu而报错。

用Visual Studio Code修改训练脚本如下:

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_09

修改参数,将训练好的模型落盘存储

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_10

(2)运行训练脚本   python main.py

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_11

训练完成,模型文件存储到训练脚本目录下。

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_12

四、安装Tensorflow1.15

1、切换至base,创建tensorflow虚拟环境——conda activate base

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_13

2、安装tensorflow 1.15 cpu版本

conda install tensorflow=1.15.0

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_14

3、安装验证

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_Tensorflow_15

4、下载lenet例程

git clone https://gitee.com/qmckw/lenet.git

原始代码直接运行会报错:ImportError: cannot import name ‘tutorials’ from ‘tensorflow_core.examples’,需要改一下代码。

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_16

执行训练 python Train.py

【2023 · CANN训练营第一季】——在华为AI加速型ECS上安装Pytorch和Tensorflow框架_AscendCL_17

标签:训练,CANN,com,pytorch,AI,Pytorch,conda,https,安装
From: https://blog.51cto.com/u_15485447/6364848

相关文章

  • pagintaion
    ```"""自定义的分页组件"""fromdjango.utils.safestringimportmark_safeclassPagination(object):def__init__(self,request,queryset,page_size=10,page_param="page",page_show=5):"""......
  • Voyager:AI智能体自主写代码独霸我的世界,完胜AutoGPT
    继斯坦福的25人小镇后,AI智能体又出爆款新作了。最近,英伟达首席科学家JimFan等人把GPT-4整进了「我的世界」(Minecraft)——提出了一个全新的AI智能体Voyager。Voyager的厉害之处在于,它不仅性能完胜AutoGPT,而且还可以在游戏中进行全场景的终身学习!比起之前的SOTA,Voyager获得的物......
  • Python协程:从yield/send到yield from再到async/await
    Python中的协程大概经历了如下三个阶段:最初的生成器变形yield/send引入@asyncio.coroutine和yieldfrom在最近的Python3.5版本中引入async/await关键字一、生成器变形yield/send普通函数如果出现了yield关键字,那么该函数就不再是普通函数,而是一个生成器。importrandom......
  • Anaconda正确安装pytorch正确步骤
    前提:Anaconda安装的10个坑1没有系统环境变量(有的安装包没有系统环境变量,勾选安装,需要自己配置环境变量,否则会后面会让你重新安装)2安装pytorch前,要condaactivatemyenv//激活环境,不然安装默认路径,用不了,白安装了 第一步一劳永逸,设置镜像源pipconfigsetglobal.index-......
  • AIGC赛道5种不同的营收模式
    1,MaaS(ModelasService) 适用于底层大模型和中间层进行变现,按照数据请求量和实际计算量计算。到2027年,MaaS模式占市场规模比例将从5%增长至47%。2,按产出内容量收费适用于应用层变现,如按图片张数、请求计算量、模型训练次数等收费。到2027年,该模式市场规模占比将从60%......
  • 一文了解AI最前沿的技术GPT-4技术
    一、GPT-4技术概览GPT-4(GenerativePre-trainedTransformer4)是OpenAI开发的一款大规模、多模态的人工智能模型。与之前的ChatGPT相比,GPT-4具有更先进的推理能力,可以处理超过25,000字的长篇文章。GPT-4在多项测试和基准上的表现非常出色,如UniformBarExam、LSAT、SAT数学和SAT基......
  • pytorch--训练分层学习率设置
    在训练模型时,我们经常会使用两个神经网络模型进行融合,若两个模型的复杂度不同,或者激活函数不同,导致训练后的模型训练损失忽高忽低,差距巨大,有可能是陷入了局部最优的状况。这时候采用分层学习率的策略可能帮助模型度过局部最优困境。下面是一个简单的示例:对于一个继承于nn.Module......
  • wait,notify,notifyAll,sleep,join等线程方法的全方位演练
    一、概念解释1.进入阻塞:有时我们想让一个线程或多个线程暂时去休息一下,可以使用wait(),使线程进入到阻塞状态,等到后面用到它时,再使用notify()、notifyAll()唤醒它,线程被唤醒后,会等待CPU调度。不过需要注意的是:在执行wait()方法前必须先拿到这个对象的monitor锁。2.线程......
  • mysql explain语句
    explain语句select_type表type字段描述idselect识别符。这是select的查询序列号,id的值越大优先级别越高,越先被执行,如果id相同,执行顺序右上至下select_type表示select语句的类型。<br>==SIMPLE== 表示简单查询,其中不包括连接查询和子查询。<br>==PRIMARY==......
  • MHA(MySQL High Availability)高可用性工具补数据功能
    目录背景MHA补数据功能关于补数据的补充说明参考背景在介绍MHA补数据功能之前先介绍一些关于MHA的基础知识。MHA(MySQLHighAvailability)是一个用于实现MySQL数据库高可用性(HighAvailability)的工具集。它可以在主从复制架构中实现故障切换和主库切换,以确保数据库服务的稳定......