NHWC和NCHW是卷积神经网络(cnn)中广泛使用的数据格式。它们决定了多维数据，如图像、点云或特征图如何存储在内存中。
- NHWC(样本数，高度，宽度，通道):这种格式存储数据通道在最后，是TensorFlow的默认格式。
- NCHW(样本数，通道，高度，宽度):通道位于高度和宽度尺寸之前，经常与PyTorch一起使用。
NHWC和NCHW之间的选择会影响内存访问、计算效率吗？本文将从模型性能和硬件利用率来尝试说明这个问题。
卷积作为GEMM
GEneral Matrix to Matrix Multiplication (通用矩阵的矩阵乘法)
卷积可以使用基于变换的方法来实现，如快速傅立叶变换，它将卷积转换为频域的元素乘法，或者使用无变换的方法，如矩阵乘法，其中输入和滤波器（卷积核）被平面化并使用矩阵操作组合以计算输出特征映射。
但是：fft是内存密集型的，因为它们需要额外的内存来存储转换后的矩阵。并且fft的计算成本很高，特别是在时域和频域之间来回转换数据时，涉及操作开销。
而卷积运算的一般矩阵乘法是这样的。每个接受域按列堆叠，得到特征映射变换矩阵。同时还将滤波器矩阵逐行平摊和叠加，形成滤波器变换矩阵。滤波变换和特征映射变换矩阵经过矩阵乘法运算，形成扁平化的输出矩阵。这里的变换矩阵是一个中间矩阵，只是数值重排，与频域变换没有关系。
N -特征图的批量大小，C -输入通道，h -输入高度，W -输入宽度，
k -输出通道，r -滤波器高度，s -滤波器宽度，p -输出高度，q -输出宽度
特征映射变换矩阵和滤波变换矩阵被认为是中间矩阵，其维数大于特征映射本身。feature map的尺寸= C × H × W， (3x3x3) feature map transform的尺寸= CRS × NPQ (12x4)
https://avoid.overfit.cn/post/0b8715aa855045c693be2e9b20eb93ba
标签：卷积,NCHW,矩阵,变换,NHWC,内存,GPU From： https://www.cnblogs.com/deephub/p/17745547.html