深层网络中的前向传播

• 先说对其中一个训练样本\(x\)如何应用前向传播，之后讨论向量化的版本。

第一层需要计算\({{z}^{[1]}}={{w}^{[1]}}x+{{b}^{[1]}}\)，\({{a}^{[1]}}={{g}^{[1]}} {({z}^{[1]})}\)（\(x\)可以看做\({{a}^{[0]}}\)）

第二层需要计算\({{z}^{[2]}}={{w}^{[2]}}{{a}^{[1]}}+{{b}^{[2]}}\)，\({{a}^{[2]}}={{g}^{[2]}} {({z}^{[2]})}\)

以此类推，

第四层为\({{z}^{[4]}}={{w}^{[4]}}{{a}^{[3]}}+{{b}^{[4]}}\)，\({{a}^{[4]}}={{g}^{[4]}} {({z}^{[4]})}\)

前向传播可以归纳为多次迭代\({{z}^{[l]}}={{w}^{[l]}}{{a}^{[l-1]}}+{{b}^{[l]}}\)，\({{a}^{[l]}}={{g}^{[l]}} {({z}^{[l]})}\)。

向量化实现过程可以写成：

\({{Z}^{[l]}}={{W}^{[l]}}{{a}^{[l-1]}}+{{b}^{[l]}}\)，\({{A}^{[l]}}={{g}^{[l]}}{({Z}^{[l]})}\) (\({{A}^{[0]}} = X)\)

这里只能用一个显式for循环，\(l\)从1到\(L\)，然后一层接着一层去计算。