首页 > 其他分享 >pytorch cuda gpu版本与detectron2、jupyter notebook安装

pytorch cuda gpu版本与detectron2、jupyter notebook安装

时间:2023-03-27 19:33:38浏览次数:59  
标签:jupyter -- detectron2 dev pytorch notebook &&

任意版本的pytorch、cuda的gpu版本与detectron2、jupyter notebook安装

1. 简介

本文主要介绍pytorch cuda gpu版本与detectron2、jupyter notebook安装, 主要是基于docker构建AI开发/预测用的环境.

优势与不足

  1. 优势

    • 一键安装, 无需手动安装pytorch/cuda/detectron2/jupyter notebook等,尤其是在Windows系统下安装detectron2, 安装过程中会遇到各种问题, 本文避免了这些问题.
    • docker运行GPU任务与直接在宿主机器上运行GPU任务性能相当,方便后续移植交付.
  2. 不足

    • 目前只支持NVIDIA的cuda以及x86/amd64架构处理器,缺乏arm架构版本,也未找到opencl版本的base镜像, 后续找到后会更新.

2. 快速启动

主要思路为启动时挂载工程目录, 启动jupyter notebook, 然后在宿主机器上通过浏览器访问jupyter notebook, 从而实现在宿主机器上开发代码, 在容器内运行代码.

  1. 下载镜像 docker pull zzc932/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04

  2. 检查GPU是否正常使用

docker run --rm --gpus all -it zzc932/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04 nvidia-smi

参数说明:

  • --rm: 容器退出后自动删除
  • --gpus all: 使用所有GPU,如果只使用部分GPU,可以使用--gpus device=0,1
  • -it: 交互式运行
  • zzc932/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04: 镜像名称
  • nvidia-smi: 检查Nvidia GPU是否正常使用
  1. 使用前初始化jupyter密码, 输入两遍新密码
# 初始化jupyter密码
mkdir ~/.jupyter
# 执行后输入两遍新密码
docker run --rm -it -v ~/.jupyter:/root/.jupyter zzc932/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04 bash -c "jupyter notebook password"
Enter password:
Verify password:
  1. 正式启动jupyter notebook
# 警告: --ip=0.0.0.0 --allow-root 会导致jupyter notebook不安全, 在生产环境使用时请去掉
docker run --name myjupyter -d -v ~/.jupyter:/root/.jupyter -p 8888:8888 zzc932/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04 \
bash -c "jupyter notebook --ip=0.0.0.0 --allow-root"
  1. 在宿主机器上访问jupyter notebook
    宿主机指运行这个docker容器的机器, 一般是本机(http://127.0.0.1:8888), 也可以是远程机器(http://hostname -i:8888).

3. dockerfile内容

本章节给出dockerfile, 有需要修改特定CPU架构/GPU驱动的需求,可以修改对应命令.

FROM cnstark/pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04
# gcc & g++ ≥ 5.4 are required. ninja 
RUN pip install ninja
RUN cd /tmp && apt-get update && apt-get install -y git && \
git clone https://github.com/facebookresearch/detectron2.git && \
python -m pip install -e detectron2 jupyter

4. 如何构建任意版本的镜像

python、pytorch、cuda一直在更新, 本文只是给出了一个常用的版本pytorch:1.13.0-py3.9.12-cuda11.7.1-ubuntu20.04,
如果需要构建其他版本的镜像, 则更换base镜像重新构建即可.

以Ubuntu20.04-Python3.9.10-CUDA11.3-Pytorch1.10.2为例,Dockerfile文件如下:

# CUDA基础镜像
FROM nvidia/cuda:11.3.1-cudnn8-runtime-ubuntu20.04
# CPU版本
# FROM ubuntu:20.04

# 安装基础包
RUN apt update && \
    apt install -y \
        wget build-essential zlib1g-dev libncurses5-dev libgdbm-dev libnss3-dev libssl-dev \
        libreadline-dev libffi-dev libsqlite3-dev libbz2-dev liblzma-dev && \
    apt clean && \
    rm -rf /var/lib/apt/lists/*

WORKDIR /temp

# 下载python
RUN wget https://www.python.org/ftp/python/3.9.10/Python-3.9.10.tgz && \
    tar -xvf Python-3.9.10.tgz

# 编译&安装python
RUN cd Python-3.9.10 && \
    ./configure --enable-optimizations && \
    make && \
    make install

WORKDIR /workspace

RUN rm -r /temp && \
    ln -s /usr/local/bin/python3 /usr/local/bin/python && \
    ln -s /usr/local/bin/pip3 /usr/local/bin/pip

# 安装pytorch
# https://pytorch.org/get-started/locally/
RUN pip3 install torch==1.10.2+cu113 torchvision==0.11.3+cu113 torchaudio==0.10.2+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html && \
    rm -r /root/.cache/pip

5. 参考

标签:jupyter,--,detectron2,dev,pytorch,notebook,&&
From: https://www.cnblogs.com/nishiliu/p/17261717.html

相关文章

  • jupyter的使用
    1、修改jupyter默认目录condaactivateenv激活虚拟环境jupyter-notebook--generate-config查看配置文件位置打开之后发现,这本质上应该是一个python的py文件,......
  • Jupyter Notebook(或vscode插件) 一个cell有多个输出
    方法一在文件的开头加上如下代码,该方法仅对当前文件有效fromIPython.core.interativeshellimportInteractiveShellInteractiveShell.ast_node_interctivity="all"......
  • pytorch gather b2 = a.gather(1, b.view(-1, 1))
    importtorcha=torch.randint(0,100,(6,3))b=torch.Tensor([0,1,1,2,0,2]).long()b=b.unsqueeze(1)b0=b.view(-1,1)b2=a.gather(1,b.view(-1,1......
  • feature map-CAM 和 利用pytorch-hook注册实现CAM可视化
    什么是CAMCAM的全称是ClassActivationMapping或ClassActivationMap,即类激活映射或类激活图。论文《LearningDeepFeaturesforDiscriminativeLocalization》发......
  • Pytorch构建超分辨率模型——常用模块
    Importrequiredlibraries:importtorchimporttorch.nnasnnimporttorch.optimasoptimfromtorch.utils.dataimportDataLoaderfromtorchvisionimporttrans......
  • jupyter保存失败
    设置了文件夹保护导致的FileNotFoundError:[Errno2]Nosuchfileordirectory:我是问题的作者...问题是权限问题,正如我之前提到的,我确实修改了系统,但不记得我做了什......
  • 用Python和Pytorch使用softmax和cross-entropy
    softmax激活函数softmax激活函数将包含K个元素的向量转换到(0,1)之间,并且和为1,因此它们可以用来表示概率。   python:defsoftmax(x):returnnp.exp(x)/np.s......
  • 【研究生学习】Pytorch基本知识
    本篇博客记录一下Pytorch的基本知识,同时也通过各种实例来帮助理解如何使用PytorchPytorch中的张量Pytorch中的自动求导在目前的深度学习框架中,自动求导功能是最核心也是......
  • jupyter notebook 中编辑公式
    jupyternotebook是一个python的交互式开发环境,广泛应用于数据分析的场景下。在jupyternotebook中,还可以很方便的编辑数学公式。1、Markdown状态编辑公式,首先要使单元成为M......
  • Pytorch安装与基础知识
    Pytorch安装与基础知识安装环境:Win10专业版显卡:NviidaGeforceGTX1660Ti安装Anacodna官网下载安装安装CudaCuda官网下载安装包。进入CMD,使用命令nvcc-V测......