前言:
在CANN训练营提供的华为云镜像环境,通过miniconda 安装pytorch和Tensorflow框架。在模型迁移前准备阶段,可以用来在CPU上对模型训练进行验证。
本文描述了安装过程,更换国内conda源、并分别下载例程,在Pytorch和Tensorflow框架下进行了CPU训练。还介绍了在Pytorch、Tensorflow虚拟环境以及不启动虚拟环境之间切换的方法。
一、概要
参考文档:https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000034.html 安装Tensorflow
https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000035.html 安装PyTorch
训练营镜像已经安装好了CANN环境,只需要安装深度学习框架Tensorflow和Pytorch。为了方便安装和使用两种框架,采取miniconda的方式进行安装,创建两个虚拟环境,分别安装这两个框架。
安装完成后,系统存在下述四种环境:无Conda环境;Pytorch环境;Tensorflow环境;Base环境。四种环境切换方式如下表所示:
二、安装miniconda
1、下载miniconda
在官网查找合适的版本,根据昇腾官方建议的python版本,选择3.7的版本进行安装。
mkdir downloads && cd downloads #创建下载目录
wget https://repo.anaconda.com/miniconda/Miniconda3-py37_23.1.0-1-Linux-x86_64.sh #下载miniconda
chmod +x Miniconda3-py37_23.1.0-1-Linux-x86_64.sh #赋执行权限
./Miniconda3-py37_23.1.0-1-Linux-x86_64.sh #执行安装
按提示操作,默认安装到下述目录:
安装的最后,提示
此处选择no,选择yes,登录后会自动运行conda的base环境。等需要使用时,通过conda activate 进行切换。
修改为国内conda源
vim ~/.condarc
#清华源
channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
ssl_verify: true
也可以通过下述开关,进行设置
conda config --set auto_activate_base false
三、安装Pytorch 1.8
参考文档:https://www.hiascend.com/document/detail/zh/canncommercial/601/envdeployment/instg/instg_000064.html
1、在miniconda 创建pytorch虚拟环境
创建pytorch1.8
conda create -n pt_1.8 python=3.7.5
切换到虚拟环境
conda activate pt_1.8
2、安装PyTorch环境依赖
conda install pyyaml
conda install wheel
3、安装Pytorch
CPU Only
conda install pytorch1.8.1 torchvision0.9.1 torchaudio==0.8.1 cpuonly -c pytorch
安装完成后,用conda list查看,有pytorch表示安装成功。
也可以查看pytorch版本:
4、下载pytorch官方例程
地址:https://github.com/pytorch/examples
使用git clone命令下载例程。git clone https://github.com/pytorch/examples.git
5、跑一个CPU训练
选择mnist例程,进行cpu训练。
(1)修改代码
例程综合考虑了cpu、gpu、mac gpu下的训练,我们这里使用的是cpu训练,需要将gpu、mac gpu关闭,避免因为检查gpu、mac gpu而报错。
用Visual Studio Code修改训练脚本如下:
修改参数,将训练好的模型落盘存储
(2)运行训练脚本 python main.py
训练完成,模型文件存储到训练脚本目录下。
四、安装Tensorflow1.15
1、切换至base,创建tensorflow虚拟环境——conda activate base
2、安装tensorflow 1.15 cpu版本
conda install tensorflow=1.15.0
3、安装验证
4、下载lenet例程
git clone https://gitee.com/qmckw/lenet.git
原始代码直接运行会报错:ImportError: cannot import name ‘tutorials’ from ‘tensorflow_core.examples’,需要改一下代码。
执行训练 python Train.py
标签:训练,CANN,com,pytorch,AI,Pytorch,conda,https,安装 From: https://blog.51cto.com/u_15485447/6364848