使用GPU训练神经网络的历史

我在一台没有GPU支持的Mac电脑本上本地部署了stable-diffusion-webui，并生成了一张图。这张图大概需要10分钟的时间才能生成，但如果有GPU支持的话，只需要几秒钟就能完成。这让我深刻体会到GPU的算力比CPU强大得多。

GPU算力为啥远高于CPU

更多的处理单元

GPU在同样芯片面积上集成的处理单元数目远高于CPU。如NVIDIA Tesla V100有5120个CUDA核心,而同期高性能CPU核心数一般在10-32个。这使GPU可以高度并行化,一次可以执行成千上万个线程,实现超高的计算粒度和吞吐量。

图：NVIDIA Tesla V100

更简单的处理单元

GPU的处理单元更简单，主要针对高度并行的矩阵和向量运算优化。而CPU的处理单元复杂得多，需要支持各种串行指令和流控制，以实现复杂的逻辑运算和代码执行流程。

GPU简单的处理单元可以以更高密度集成在芯片上。

图：GA100核心架构图

内存带宽更高

GPU的内存体系结构专门为大规模矩阵运算和数据访问优化。它提供的内存带宽远高于CPU，这也是GPU高计算能力的重要支撑。大内存带宽可以保证GPU的成千上万个处理单元同时高效读取和写入数据。

图：Nvidia GTX 780 PCB 布局

专用的编程框架

GPU有专门为其打造的编程框架,如CUDA和OpenCL。

这些框架可以让程序员直接基于GPU体系结构进行编程,充分利用其高度并行的结构。而CPU的传统编程模型难以高效利用GPU的算力。

图：CUDA processing flow

GPU和CPU的对比表

GPU和CPU的主要对比如下表:

所以，总体来说，GPU vs CPU的算力差异在于:

1. GPU采用无数简单的处理单元和内存体系结构，以支持超大规模的并行计算。
2. GPU有面向其体系结构的专用编程模型，可以更好地编写和优化程序。
3. GPU专注于高度并行的数值密集型计算(如神经网络训练)，这些工作负载可以高度利用其优化的硬件资源；而CPU需要处理更加广泛的工作负载，难以专注优化。

机器学习使用GPU

在2010年前后，深度学习的应用还非常有限，大多数研究人员使用CPU来训练模型。由于CPU计算速度较慢，深度学习模型训练时间非常长，限制了深度学习技术的发展。

2012年的ImageNet大规模视觉识别挑战赛（ILSVRC）。当时，由多伦多大学的Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton组成的团队，使用了两个NVIDIA GTX 580 GPU，训练了一个名为AlexNet的6千万个参数和 65 万个神经元的深度卷积神经网络。用于将 ImageNet LSVRC-2010 比赛中的 120 万张高分辨率图像分类到 1000 个不同的类别中。在测试数据上，他们实现了 37.5% 的 top-1 错误率和 17.0% 的 top-5 错误率，这比以前的最先进技术要好得多。

相关的论文也在2012年，由Alex Krizhevsky，Ilya Sutskever 和 Geoffrey E. Hinton发表《ImageNet Classification with Deep Convolutional Neural Networks》。 https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

此后，随着深度学习技术的不断发展和应用，GPU被越来越广泛地应用于深度学习模型的训练中，并逐渐成为深度学习模型训练的标配。

由于深度学习模型的复杂度和数据量不断增加，GPU的计算能力逐渐无法满足需求，因此出现了专门用于深度学习的加速器，如Google的TPU、Nvidia的Tesla V100等。这些加速器采用了更为高效的计算架构，能够更快速、更高效地训练深度学习模型。

再后面随着深度学习模型的规模不断增大，单个GPU或加速器已经无法满足需求，因此出现了分布式训练。在分布式训练中，多个GPU或加速器同时训练同一个模型，以提高训练速度和效率。同时，也有一些开源的分布式训练框架，如TensorFlow、PyTorch等，使得分布式训练变得更加容易实现和使用。

这也是NVIDIA（英伟达） 随后股价狂涨的原因。