BN

假设一个batch中有两张图片，则两张图片输入网络后得到两个feature，分别为feature1和feature2：

如上图，每个feature都有两个channel，分别为channel1和channel2。
BN的流程：计算所有feature的channel1上的数的均值\(\mu _1\)和标准差\(\sigma_1\)，然后所有feature的channel1上的数都减去均值\(\mu_1\)并除以标准差\(\sigma_1\)。对所有feature的channel2上的数做同样的操作，即计算所有feature的channel2上的数的均值\(\mu _2\)和标准差\(\sigma_2\)，然后所有feature的channel2上的数都减去均值\(\mu_2\)并除以标准差\(\sigma_2\)。

不一定均值为零方差为一就是最好的选择，所以引入了两个可学习参数\(\gamma和\sigma\)对\(\hat x_i\)进行调整，BN最终的结果为：