3.0 常见operators算子

1.1 卷积相关

　　1）卷积　　2）反卷积 （只能做到近似恢复，无法完全恢复原图像）

 参考：https://blog.csdn.net/qq_27261889/article/details/86304061

1.2 线性变换相关

　　1）Linear

　　2）矩阵相乘类：【mm:二维矩阵相乘；bmm:三维矩阵相乘；matmul:多维矩阵相乘, 只要两个矩阵能够broadcast即可。】

1.3 标准化、归一化相关

　　区别在于：计算 均值&方差  所使用得数据范围不同。

　　1）Batch_Norm，cv领域；2）Layer_Norm，nlp领域；3）Instance_Norm；4）Group_Norm。

　　5）Switchable_Norm，结合BN和LN：E = a1*BN + a2*LN，δ = b1*BN + b2*LN。

BN和LN的区别：

1.4 卷积相关

1.5 卷积相关

1.6 卷积相关