首页 > 其他分享 >手把手教你在昇腾平台上搭建PyTorch训练环境

手把手教你在昇腾平台上搭建PyTorch训练环境

时间：2023-05-26 14:23:16浏览次数：37  
标签：手把手 torch PyTorch install linux npu 安装 搭建

摘要：在昇腾平台上运行PyTorch业务时，需要搭建异构计算架构CANN软件开发环境，并安装PyTorch 框架，从而实现训练脚本的迁移、开发和调试。

本文分享自华为云社区《手把手教你在昇腾平台上搭建PyTorch训练环境》，作者：昇腾CANN。

PyTorch是业界流行的深度学习框架，用于开发深度学习训练脚本，默认运行在CPU/GPU上。在昇腾AI处理器上运行PyTorch业务时，需要搭建异构计算架构CANN（Compute Architecture for Neural Networks）软件开发环境，并安装PyTorch 框架，从而实现训练脚本的迁移、开发和调试。

下面带大家了解如何在昇腾平台上快速安装驱动固件、CANN软件及PyTorch框架。

环境检查

在昇腾平台上安装驱动和固件前，首先需要检查安装环境的NPU是否正常在位，并确认操作系统版本与内核版本是否满足对应的版本配套要求。

以Atlas 800 训练服务器（型号：9010）（昇腾AI处理器型号Ascend 910）为例，检查NPU是否正常在位可执行lspci | grep d801命令，如果服务器上有 N路NPU，回显N行含“d801”字段，则表示NPU正常在位。

安装驱动和固件

1.创建驱动运行用户HwHiAiUser。

groupadd -g 1000 HwHiAiUser 
useradd -g HwHiAiUser -u 1000 -d /home/HwHiAiUser -m HwHiAiUser -s /bin/bash

2.安装驱动和固件。

在昇腾社区的“固件与驱动”下载页面下载配套产品的固件驱动软件，并上传到服务器任意目录，然后参考如下命令进行固件驱动软件包的安装，需要注意，需要以root用户进行安装。

a.为软件包增加可执行权限。

chmod +x Ascend-hdk-910-npu-driver_23.0.rc1_linux-x86-64.run
chmod +x Ascend-hdk-910-npu-firmware_6.3.0.1.241.run

b.安装驱动。

./Ascend-hdk-910-npu-driver_23.0.rc1_linux-x86-64.run --full --install-for-all

默认安装路径为“/usr/local/Ascend”，出现类似如下回显信息，说明安装成功。

Driver package installed successfully!复制

您还可以通过执行npu-smi info命令查看，出现类似如下信息，说明驱动加载成功。

c.安装固件。

./Ascend-hdk-910-npu-firmware_6.3.0.1.241.run --full

出现类型如下回显信息，说明安装成功。

Firmware package installed successfully! Reboot now or after driver installation for the installation/upgrade to take effect

3.驱动固件安装完成后，重启系统。

reboot

安装CANN软件依赖

CANN软件安装过程需要下载相关依赖，请确保安装环境能够连接网络，并已配置软件源，以下步骤以root用户操作为例。

1. 安装第三方依赖

Ubuntu系统（Debian、UOS20、Linux等系统操作一致）：

apt-get install -y gcc g++ make cmake zlib1g zlib1g-dev openssl libsqlite3-dev libssl-dev libffi-dev unzip pciutils net-tools libblas-dev gfortran libblas3

openEuler系统（EulerOS、CentOS、BCLinux等系统操作一致）：

yum install -y gcc gcc-c++ make cmake unzip zlib-devel libffi-devel openssl-devel pciutils net-tools sqlite-devel lapack-devel gcc-gfortran

2. 安装Python及其依赖

以安装Python 3.7.5为例。

1）通过wget命令下载python3.7.5源码包。

wget https://www.python.org/ftp/python/3.7.5/Python-3.7.5.tgz

2）解压缩源码包

tar -zxvf Python-3.7.5.tgz

3）源码编译安装Python。

​cd Python-3.7.5
./configure --prefix=/usr/local/python3.7.5 --enable-loadable-sqlite-extensions --enable-shared
make
make install

以--prefix=/usr/local/python3.7.5路径为例进行说明。执行配置、编译和安装命令后，安装包在/usr/local/python3.7.5路径。

4）设置python3.7.5环境变量。

#用于设置python3.7.5库文件路径
export LD_LIBRARY_PATH=/usr/local/python3.7.5/lib:$LD_LIBRARY_PATH
#如果用户环境存在多个python3版本，则指定使用python3.7.5版本
export PATH=/usr/local/python3.7.5/bin:$PATH

5）检查是否安装成功。

​python3 --version
pip3 --version

返回相关版本信息，则说明安装成功。

6）安装pip依赖。

pip3 install attrs numpy decorator sympy cffi pyyaml pathlib2 psutil protobuf scipy requests absl-py

安装CANN开发套件包

1. 从昇腾社区“CANN”产品页，根据操作系统架构下载CANN开发套件包。

例如“Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run”，并将其上传到安装环境任意目录。

2. 安装CANN开发套件包。

# 添加可执行权限
chmod +x Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run
# 校验软件包的一致性和完整性
./Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run --check
# 执行安装命令
./Ascend-cann-toolkit_6.3.RC1_linux-x86_64.run --install --install-for-all

安装完成后，若显示如下信息，则说明软件安装成功：

[INFO] xxx install success

xxx表示安装的实际软件包名。

安装PyTorch

CANN软件包安装完成后，就可以进行PyTorch的安装了。开发者可以选择PyTorch 1.8.1或PyTorch 1.11.0版本，PyTorch安装成功后再安装APEX混合精度模块。在安装Pytorch前，需要先安装以下依赖。

pip3 install wheel
pip3 install typing_extensions

安装PyTorch 1.8.1

1）安装官方torch包。

x86_64架构

wget https://download.pytorch.org/whl/cpu/torch-1.8.1%2Bcpu-cp37-cp37m-linux_x86_64.whl
pip3 install torch-1.8.1+cpu-cp37-cp37m-linux_x86_64.whl

aarch64架构

wget https://repo.huaweicloud.com/kunpeng/archive/Ascend/PyTorch/torch-1.8.1-cp37-cp37m-linux_aarch64.whl
pip3 install torch-1.8.1-cp37-cp37m-linux_aarch64.whl

2）安装昇腾提供的PyTorch适配插件torch_npu。

x86_64架构

wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.8.1/torch_npu-1.8.1.post1-cp37-cp37m-linux_ x86_64.whl
pip3 install torch_npu-1.8.1.post1-cp37-cp37m-linux_ x86_64.whl

aarch64架构

​wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.8.1/torch_npu-1.8.1.post1-cp37-cp37m-linux_aarch64.whl
pip3 install torch_npu-1.8.1.post1-cp37-cp37m-linux_aarch64.whl

此处以5.0.rc1版本为例，实际请选择CANN配套的PyTorch插件版本进行安装。

3）安装对应框架版本的torchvision。

pip3 install torchvision==0.9.1

4）验证是否安装成功。

python -c "import torch;import torch_npu; a = torch.ones(3, 4).npu(); print(a + a);"

如果输出包含如下关键信息则说明PyTorch安装成功。

[[2., 2., 2., 2.],
  [2., 2., 2., 2.],
  [2., 2., 2., 2.]]

安装PyTorch 1.11.0

1）安装官方torch包。

x86_64架构

wget https://download.pytorch.org/whl/cpu/torch-1.11.0%2Bcpu-cp37-cp37m-linux_x86_64.whl
pip3 install torch-1.11.0+cpu-cp37-cp37m-linux_x86_64.whl

aarch64架构

wget https://repo.huaweicloud.com/kunpeng/archive/Ascend/PyTorch/torch-1.11.0-cp37-cp37m-linux_aarch64.whl
pip3 install torch-1.11.0-cp37-cp37m-linux_aarch64.whl

2）安装昇腾提供的PyTorch适配插件torch_npu。

x86_64架构

wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.11.0/torch_npu-1.11.0-cp37-cp37m-linux_ x86_64.whl
pip3 install torch_npu-1.11.0-cp37-cp37m-linux_ x86_64.whl

aarch64架构

wget https://gitee.com/ascend/pytorch/releases/download/v5.0.rc1-pytorch1.11.0/torch_npu-1.11.0-cp37-cp37m-linux_aarch64.whl
pip3 install torch_npu-1.11.0-cp37-cp37m-linux_aarch64.whl

3）安装对应框架版本的torchvision。

pip3 install torchvision==0.12.0

4）验证PyTorch是否安装成功。

python -c "import torch;import torch_npu; a = torch.ones(3, 4).npu(); print(a + a);"

如果输出包含如下关键信息则说明PyTorch安装成功。

[[2., 2., 2., 2.],
  [2., 2., 2., 2.],
  [2., 2., 2., 2.]]

安装APEX混合精度模块

APEX混合精度模块是一个集优化性能、精度收敛于一身的综合优化库，可以提供不同场景下的混合精度训练支持。

1. 获取昇腾适配的APEX源码以及原生APEX代码。

# 获取昇腾适配的APEX源码
git clone -b master https://gitee.com/ascend/apex.git
# 在apex目录下获取原生APEX代码
cd apex
git clone https://github.com/NVIDIA/apex.git

2. 切换到原生APEX代码对应分支。

cd apex
git checkout 4ef930c1c884fdca5f472ab2ce7cb9b505d26c1a
cd ..

3. 在昇腾适配APEX源码目录的scripts路径下生成昇腾适配全量代码。

cd scripts
bash gen.sh

4. 编译生成昇腾适配的APEX二进制安装包。

cd ../apex
python3 setup.py --cpp_ext --npu_float_status bdist_wheel

5. 安装APEX。

86_64架构

cd dist
pip3 install apex-0.1_ascend-cp37-cp37m-linux_ x86_64.whl

aarch64架构

cd dist
pip3 install apex-0.1_ascend-cp37-cp37m-linux_aarch64.whl

到此，PyTorch训练环境就搭建完毕了，开发者可以将PyTorch网络脚本迁移到昇腾平台执行训练，使用昇腾平台的强大算力。

关于更多文档介绍，可以在昇腾文档中心[1]查看，您也可在“昇腾社区在线课程[2]”板块学习视频课程，学习过程中的任何疑问，都可以在“昇腾论坛[3]”互动交流！

相关参考

[1]昇腾文档中心

[2]昇腾社区在线课程

[3]昇腾论坛

 

点击关注，第一时间了解华为云新鲜技术~

标签：手把手,torch,PyTorch,install,linux,npu,安装,搭建
From： https://www.cnblogs.com/huaweiyun/p/17434593.html

相关文章

  • 搭建mysql 初始环境
    安装MySQL数据库实验环境：centos操作系统、cmake源码包、mysql源码包实验目的，安装数据库实验步骤： 一、安装前的准备工作：为了避免发生端口冲突，程序冲突等现向，建议先查询mysql软件的安装情况，确认没有使用以RPM方式安装的mysql-server、mysql软件包，否则建议将其卸载。[root@loc......
  • 一步一步搭建Svn服务之TortoiseSVN基本操作
        SVN作为源代码文件版本管理的工具，在日常项目中，经常使用到。没有使用过SVN的用户，经常不知道如何操作。这篇文章主要介绍了客户端TortoiseSVN基本操作(图文教程)，需要的朋友们下面随着我来一起学习吧。一、导入本地项目到SVN    svn中默认是没有任何项目代码的，需要......
  • 统信UOS系统开发笔记（一）：国产统信UOS系统搭建开发环境之虚拟机安装
    前言  开发国产应用，需要使用到统信UOS系统，之前已经开发过国产银河麒麟V4、V7和V10版本了，本次新项目使用到统信UOS，记录UOS虚拟机安装流程，方便快捷进行相关开发工作。<br>提前准备VMware16虚拟机软件  下载VM16版本及以上的vmware虚拟机版本，否则没有CentO8选项，自行百度下......
  • 搭建自动化 Web 页面性能检测系统 —— 设计篇
    我们是袋鼠云数栈UED团队，致力于打造优秀的一站式数据中台产品。我们始终保持工匠精神，探索前端道路，为社区积累并传播经验价值。。本文作者：琉易liuxianyu.cn页面性能对于用户体验、用户留存有着重要影响，当页面加载时间过长时，往往会伴随着一部分用户的流失，也会带来一些用户......
  • 使用MASA Stack+.Net 从零开始搭建IoT平台 第四章 4.3 使用规则引擎实现告警通知
    目录前言方案实施流程安装Node-RED配置一个告警处理流程编写代码测试总结前言数据的挑战：物联网的发展带来了海量的数据。这些数据来源多样，格式不一，处理起来十分复杂。同时，物联网中的设备数量庞大，需要设备间进行高效的协同和管理，这也对数据处理提出了更高的要求。如何从这些复......
  • PyTorch-Forecasting一个新的时间序列预测库
    时间序列预测在金融、天气预报、销售预测和需求预测等各个领域发挥着至关重要的作用。PyTorch-forecasting是一个建立在PyTorch之上的开源Python包，专门用于简化和增强时间序列的工作。在本文中我们介绍PyTorch-Forecasting的特性和功能，并进行示例代码演示。完整文章：https://av......
  • 企业官网模版搭建
    企业官网模版搭建教程1、创建宝塔网站2、上传源码目录3、解压源码目录4、登录后台http://xxx.xxx.xx/admin.php初始账号密码账号:admin密码:admin......
  • 商城项目搭建
    项目搭建1.前台需求分析前台是针对用户购书，而后台是管理员管理系统。1.1前台主页  /index.jsp使用<jsp:forward>转发到/jsps/main.jsp,、main.jsp中只有一个<table>，结构如下(1)图书商城用户名：张三我的购物车 我的订单 修改密码 退出(2)图书分类......
  • 使用Node搭建一个本地的WebSocket服务
    首先创建一个目录,cd到目录下,npminit-y一路回车,安装一个插件npmiwebsocket建一个server.js文件constWebSocketServer=require('websocket').serverconsthttp=require('http')constport=8000lettime=0//创建服务器constserver=http.createServe......
  • pytorch安装
    电脑配置：window10、python3.6 cuda11.4.14X 一、CUDA安装（1）查看电脑版本 （2）下载cuda，大约2.8g。网址（CUDAToolkit11.4Update1Downloads|NVIDIADeveloper）（3）安装cuda，默认安装路径C:\Users\39211\AppData\Local\Temp\CUDA（4）检验：nvcc-V 二、pytorch安装pip3instal......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99