用Python实现BP神经网络(附代码)
毕加锁(锁!)
今天教大家用Python实现BP神经网络(附代码)
用Python实现出来的机器学习算法都是什么样子呢? 前两期线性回归及逻辑回归项目已发布(见文末链接),今天来讲讲BP神经网络。
BP神经网络
神经网络model
先介绍个三层的神经网络,如下图所示
输入层(input layer)有三个units(
为补上的bias,通常设为1)
表示第j层的第i个激励,也称为为单元unit
为第j层到第j+1层映射的权重矩阵,就是每条边的权重
所以可以得到:
隐含层:
输出层
,
其中,S型函数
,也成为激励函数
可以看出
为3x4的矩阵,
为1x4的矩阵
==》j+1的单元数x(j层的单元数+1)
代价函数
假设最后输出的
,即代表输出层有K个单元
,
其中,
代表第i个单元输出与逻辑回归的代价函数
差不多,就是累加上每个输出(共有K个输出)
正则化
L-->所有层的个数
-->第l层unit的个数
正则化后的代价函数为
共有L-1层,然后是累加对应每一层的theta矩阵,注意不包含加上偏置项对应的theta(0)
正则化后的代价函数实现代码:
|
反向传播BP
上面正向传播可以计算得到J(θ),使用梯度下降法还需要求它的梯度
BP反向传播的目的就是求代价函数的梯度
假设4层的神经网络,
记为-->l层第j个单元的误差
《===》
(向量化)
没有
,因为对于输入没有误差
因为S型函数
的倒数为:
,
所以上面的
和
可以在前向传播中计算出来
反向传播计算梯度的过程为:
(
是大写的
)
for i=1-m:-
-正向传播计算
(l=2,3,4...L)
-反向计算
、
...
;
-
-
最后
,即得到代价函数的梯度
实现代码:
|
BP可以求梯度的原因
实际是利用了链式求导法则
因为下一层的单元利用上一层的单元作为输入进行计算
大体的推导过程如下,最终我们是想预测函数与已知的y非常接近,求均方差的梯度沿着此梯度方向可使代价函数最小化。可对照上面求梯度的过程。
字比较草 勿喷
求误差更详细的推导过程:
梯度检查
检查利用BP求的梯度是否正确
利用导数的定义验证:
求出来的数值梯度应该与BP求出的梯度非常接近
验证BP正确后就不需要再执行验证梯度的算法了
实现代码:
|
权重的随机初始化
神经网络不能像逻辑回归那样初始化theta为0,因为若是每条边的权重都为0,每个神经元都是相同的输出,在反向传播中也会得到同样的梯度,最终只会预测一种结果。
所以应该初始化为接近0的数
实现代码
|
预测
正向传播预测结果
实现代码
|
输出结果
梯度检查:
随机显示100个手写数字
显示theta1权重
训练集预测准确度
归一化后训练集预测准确度
我是毕加锁 期待你的关注
标签:Theta2,layer,Theta1,Python,reshape,神经网络,BP,np,size From: https://blog.51cto.com/u_15687734/5979117