服务器跑代码总结

最近刚开始使用服务器跑一些深度学习模型，遇到了一些坑，导致代码运行效率很低，总结了一些应该注意的细节来提高准确率，特此记录。

配环境换源等注意事项

俗话说得好，配环境配一天，跑代码一分钟。

由于一些网络的原因，服务器在配相关代码的环境时，直接使用诸如 conda env create -f environment.yaml，或者 pip install -r requirements.txt时，不能够流畅地运行。因此要考虑换源了：

conda

vi ~/.condarc

修改为：

channels:
  - defaults
show_channel_urls: true
default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud

pip

PyPI 镜像在每次同步成功后间隔 5 分钟同步一次。

临时使用

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple `some-package`

注意，simple 不能少, 是 https 而不是 http

设为默认

升级 pip 到最新的版本 (>=10.0.0) 后进行配置：

python -m pip install --upgrade pip
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

如果您到 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

python -m pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --upgrade pip

调整GPU

1、首先查看哪些GPU空闲，****nvidia-smi显示当前GPU使用情况。

nvidia-smi

2、然后指定空闲的GPU运行python程序。

CUDA_VISIBLE_DEVICES=3,4,5 python test.py

二、在python程序中指定GPU

import os
os.environ["CUDA_VISIBLE_DEVICES"] = "0,2,3"

screen

# 创建一个 Screen
screen -S yourname

....your operation.....

# 恢复退出了的screen 
scree -r yourname
# 删除一个 screen
screen -S yourname -X quit

refer

https://mirrors.tuna.tsinghua.edu.cn/