GPU与CUDA C编程基本知识

一 、CPU与GPU的异同

CPU：延迟导向内核，所谓延迟，指指令发出到得到结果中间经历的时间。

GPU：吞吐导向内核，所谓吞吐量指单位时间内处理的指令数量。其适合于计算密集或者数据并行的场合。

二、CUDA

2.1 简介

CUDA（Compute Unified Device Architecture）是由英伟达公司2007年开始推出，初衷是为GPU增加一个易用的编程接口，让开发者无需学习复杂的着色语言或者图形处理原语。

2.2 并行计算整体流程

void GPUkernel(float* A, float* B, float* C, int n)
{
	Part1(开辟显存并将host中的数据拷贝到此处). //Allocate device memory for A, B, and C 
       //copy A and B to device memory 
	Part2(执行计算). //Kernel launch code – to have the device
	   //to perform the actual vector addition
	Part3(将运算结果拷贝到host上并释放显存). //copy C from the device memory
	   //Free device vectors
}

具体编程实现上有三种做法：

//1、 逐个文件编译 --->将与GPU相关的头文件放到.h或者.cuh中，将设备端（GPU上）执行的程序，即被__global__或者__device__修饰的核函数放到.cu文件中，然后使用NVCC编译，然后将主机端的程序放到.h与.cpp/.c中,继续使用gcc或者g++编译，最后分别使用ncvv和g++生成.o文件连接成可执行程序。

//2、使用nvcc将GPU的程序编译成.so，链接的时候只使用.so就可以。

//3、cmake的方式。

针对上述流程，还有如下几点需要说明

2.2.1 术语

Device=GPU
Host=CPU
Kernel=GPU上运行的函数

2.2.2 内存模型

CPU和GPU之间通过内存和显存之间的互相拷贝来进行参数的传递，于是就引出了cuda编程中的内存模型。

硬件侧解释：

• 每个线程处理器（SP）都用自己的registers（寄存器）
• 每个SP都有自己的local memory（局部内存），register和local memory只能被线程自己访问
• 每个多核处理器（SM）内都有自己的shared memory（共享内存），shared memory 可以被线程块内所有线程访问
• 一个GPU的所有SM共有一块global memory（全局内存），不同线程块的线程都可使用

软件侧解释:

• 线程处理器（SP）对应线程（thread）
• 多核处理器（SM）对应线程块（thread block）
• 设备端（device）对应线程块组合体（grid）
• 一个kernel其实由一个grid来执行
• 一个kernel一次只能在一个GPU上执行

2.2.3 线程块id和线程id的概念

之前提到核函数是要在Device端进行计算和处理， 那么在执行核函数的过程中，需要访问到网格中（grid）每一个线程中的寄存器和独立的内存，继而需确定每一个线程在显存中的位置，从而引出了线程块id（1D、2D、3D）和线程id（1D、2D、3D）的概念。

2.2.4 线程束（wrap）的概念

SM采用的SIMT(Single-Instruction, Multiple-Thread，单指令多线程)架构，warp(线程束)是最基本的执行单元，一个 warp包含32个并行thread，这些thread以不同数据资源执行相同的指令。

其本质是线程在GPU上运行的最小单元，且由于wrap的大小为32，所以block所含的thread的大小一般要设置为32的倍数。