在Python中使用GPU进行并行计算的方法

标签：Python NVIDIA 并行计算 CUDA 版本 TensorFlow GPU 安装

在Python中使用GPU进行计算通常涉及到一些特定的库，如NumPy、SciPy的GPU加速版本（如CuPy、PyCUDA等）或深度学习库（如TensorFlow、PyTorch等）。这些库能够利用GPU进行并行计算，从而加速数据处理和模型训练等任务。

以下是一个使用TensorFlow和PyTorch在Python中利用GPU进行计算的详细示例。这两个库在深度学习中非常流行，并且都支持GPU加速。

1.解决Python使用GPU的方法示例

1.1TensorFlow示例

首先，确保我们已经安装了TensorFlow的GPU版本。我们可以使用pip来安装：

pip install tensorflow-gpu

然后，在Python代码中，我们可以使用以下方式来确保TensorFlow使用GPU进行计算：

import tensorflow as tf  
  
# 检查TensorFlow是否可以使用GPU  
gpus = tf.config.experimental.list_physical_devices('GPU')  
if gpus:  
    try:  
        # 确保TensorFlow使用第一个GPU  
        tf.config.experimental.set_visible_devices(gpus[0], 'GPU')  
        logical_gpus = tf.config.experimental.list_logical_devices('GPU')  
        print(len(gpus), "Physical GPUs,", len(logical_gpus), "Logical GPU")  
    except RuntimeError as e:  
        # 如果可见设备必须在运行时设置，会抛出异常  
        print(e)  
  
# 创建一个简单的计算图来测试GPU  
a = tf.constant([1.0, 2.0, 3.0, 4.0], shape=[2, 2], name='a')  
b = tf.constant([1.0, 2.0], shape=[2, 1], name='b')  
c = tf.matmul(a, b)  
  
print("Result:", c)

1.2PyTorch示例

同样地，首先确保我们已经安装了PyTorch的GPU版本。我们可以使用pip或conda来安装：

# 使用pip安装  
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/torch_stable.html  
  
# 或者使用conda安装（如果我们正在使用Anaconda或Miniconda）  
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch

注意：上面的命令中的cudatoolkit=11.3应该与我们的CUDA版本相对应。

然后，在Python代码中，我们可以使用以下方式来确保PyTorch使用GPU进行计算：

import torch  
  
# 检查是否有可用的GPU  
if torch.cuda.is_available():    
    dev = "cuda:0" # 如果有GPU，则使用第一个GPU  
    device = torch.device(dev)  # 一个设备对象表示CPU或GPU  
    print('There are %d GPU(s) available.' % torch.cuda.device_count())  
    print('We will use the GPU:', torch.cuda.get_device_name(0))  
else:  
    print('No GPU available, using the CPU instead.')  
    device = torch.device("cpu")  
  
# 创建一个张量并移动到GPU上  
x = torch.tensor([1.0, 2.0, 3.0, 4.0])  
x = x.to(device)  
y = torch.tensor([1.0, 1.0])  
y = y.to(device)  
  
# 在GPU上进行计算  
z = x * y  
print(z)

这两个示例分别展示了如何在TensorFlow和PyTorch中配置和使用GPU进行计算。在实际应用中，这些库通常用于构建和训练深度学习模型，这些模型可以非常有效地利用GPU进行并行计算。

2.如何安装TensorFlow GPU版本

安装TensorFlow GPU版本需要确保我们的系统满足一些特定的要求，并遵循一定的步骤。以下是一个清晰、分点表示的安装指南：

2.1系统要求

NVIDIA GPU：我们需要有一个支持CUDA的NVIDIA GPU。我们可以在NVIDIA官方文档中查询具备条件的GPU清单。
CUDA和cuDNN：我们需要安装与我们的TensorFlow版本兼容的CUDA和cuDNN版本。
Python：TensorFlow支持Python 3.5至3.9（具体版本可能因TensorFlow版本而异）。
其他依赖项：我们可能还需要安装其他依赖项，如Anaconda（可选，但推荐用于管理Python环境和依赖项）。

2.2安装步骤

2.2.1 确定TensorFlow版本和CUDA/cuDNN版本

TensorFlow版本：选择我们想要安装的TensorFlow版本。请注意，不同版本的TensorFlow可能需要不同版本的CUDA和cuDNN。
CUDA和cuDNN版本：查阅TensorFlow官方文档或GitHub页面上的“安装指南”部分，以确定与我们的TensorFlow版本兼容的CUDA和cuDNN版本。

2.2.2 安装CUDA和cuDNN

下载CUDA：从NVIDIA官方网站下载与我们的系统和TensorFlow版本兼容的CUDA版本。
安装CUDA：按照NVIDIA提供的安装指南进行安装。通常，我们需要选择自定义安装并确保安装必要的组件（如CUDA运行时库、NVCC编译器等）。
下载cuDNN：从NVIDIA官方网站下载与我们的CUDA版本兼容的cuDNN版本。请注意，cuDNN是一个需要注册的下载。
安装cuDNN：将cuDNN库文件（如libcudnn.so、libcudnn_ops_train.so等）复制到CUDA安装目录中的相应位置。

2.2.3 安装TensorFlow GPU版本

使用pip安装：打开命令行终端（如CMD、PowerShell、Terminal等），然后运行以下命令来安装TensorFlow GPU版本：

pip install tensorflow-gpu==<your_tensorflow_version>

将<your_tensorflow_version>替换为我们想要安装的TensorFlow版本。

使用conda安装（如果我们正在使用Anaconda）：打开Anaconda Prompt，然后运行以下命令来安装TensorFlow GPU版本：

conda install tensorflow-gpu=<your_tensorflow_version>

同样，将<your_tensorflow_version>替换为我们想要安装的TensorFlow版本。

2.3验证安装

安装完成后，我们可以通过运行一个简单的TensorFlow程序来验证GPU是否已正确安装并可用于TensorFlow。例如，我们可以创建一个简单的计算图来测试GPU是否可用。

请注意，以上步骤可能因我们的系统和TensorFlow版本而有所不同。因此，请务必参考TensorFlow官方文档和NVIDIA官方文档以获取最准确和最新的安装指南。

3.如何安装CUDA

安装CUDA的步骤如下，我将按照清晰、分点表示和归纳的方式给出指导，并尽量参考文章中的相关信息。

3.1准备工作

（1）确认系统支持：确保我们的操作系统支持CUDA。CUDA支持Windows、Linux和Mac OS等操作系统。

（2）检查NVIDIA GPU：确保我们的计算机装有NVIDIA的GPU，并且该GPU支持CUDA。可以通过NVIDIA控制面板或nvidia-smi命令来查看我们的GPU型号及支持的CUDA版本。

（3）确认驱动版本：确保我们的NVIDIA驱动是最新或至少是支持CUDA的版本。

3.2下载CUDA

（1）访问NVIDIA官网：打开NVIDIA的CUDA Toolkit下载页面（CUDA Toolkit Archive | NVIDIA Developer）。

（2）选择版本：根据我们的操作系统、CUDA版本和架构（如x86_64）来选择合适的CUDA Toolkit版本。注意，版本要与我们的显卡驱动兼容。

（3）下载：点击“Download”按钮下载CUDA Toolkit安装包。

3.3安装CUDA

（1）双击安装包：找到下载的CUDA Toolkit安装包（通常是.exe或.run文件），双击开始安装。

（2）同意许可协议：阅读并同意NVIDIA的软件许可协议。

（3）自定义安装：推荐选择“自定义”安装，以便我们可以选择需要安装的组件。如果我们是第一次安装，建议选择全部组件；如果是更新或重新安装，可以选择只安装必要的组件。

（4）设置安装路径：如果没有特殊要求，建议按照默认路径进行安装。记住安装路径，因为后续配置环境变量时需要用到。

（5）等待安装完成：安装过程中可能需要一些时间，请耐心等待。

3.4配置环境变量

3.4.1Windows系统

右键点击“此电脑”或“计算机”，选择“属性”。
点击“高级系统设置”，然后点击“环境变量”。
在系统变量中找到“Path”变量，点击“编辑”，然后添加CUDA的安装路径（如C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v<version>\bin和C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v<version>\libnvvp）。

3.4.2Linux系统

打开终端，使用文本编辑器（如nano或vim）打开.bashrc文件（通常在用户的主目录下）。
在文件末尾添加类似下面的行来设置环境变量（具体路径根据我们的安装位置而定）：

export PATH=/usr/local/cuda-<version>/bin${PATH:+:${PATH}}  
export LD_LIBRARY_PATH=/usr/local/cuda-<version>/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

保存并关闭文件。
在终端中输入source ~/.bashrc来使环境变量生效。

3.5验证安装

（1）Windows系统：打开命令提示符（CMD）或PowerShell，输入nvcc -V来查看CUDA版本信息。

（2）Linux系统：在终端中输入nvcc -V来查看CUDA版本信息。

如果看到CUDA的版本信息，说明CUDA已经成功安装并配置好了环境变量。现在我们可以开始使用CUDA进行GPU加速了！

作者：卷积殉铁子
链接：https://juejin.cn/post/7379060488352071690

标签：Python,NVIDIA,并行计算,CUDA,版本,TensorFlow,GPU,安装
From： https://blog.csdn.net/weixin_48612224/article/details/139610068