什么是反向传播（BP），有什么作用？
“正向传播求损失，反向回传误差”，在前向传播(FP)后，可获得损失函数，在损失函数基础上，利用复合函数链式求导法则，从后向前，分别对每个权重、偏置进行梯度下降，利用学习率更新权重与偏置，以获得最小损失的参数（权重、偏置）与模型。
反向传播数学原理
如下图有一个神经网络：
初始化权重与偏置如下：
w=(0.1, 0.15,0.2, 0.25, 0.3, 0.35, 0.4, 0.45, 0.5, 0.55, 0.6, 0.65)
b=(0.35, 0.65)
1 正向传播：
同理，计算得：
2 反向传播
BP过程（w7）
w8+= 0.453383
w9+= 0.458137
w10+=0.553629
w11+=0.557448
w12+=0.653688
BP过程（w1）
FP多次迭代效果
第10资迭代结果： O=（0.662866， 0.908195）
第100资迭代结果 O=(0.073889, 0.945864)
第1000次迭代结果：O=(0.022971, 0.977675)
