1、感知机是一种简单的线性二分类模型,是神经网络的基础。
有x1,x2,...xn个输入,所有的输入会进入到神经元,在神经元中,每个输入x都会与之对应的权重参数wi相乘,在计算所有输入信号的加权和之后,与固定偏执参数b进行比较,比b大的则得到输出结果y为1,比b小的则得到输出结果y为0;但是b是一个常数 对最后的结果没什么影响所以进行了移项,用b代替-b。y=(累加和)wi*xi+b
2、用逻辑电路引入介绍单层感知机与多层感知机。
单层感知机是可以解决线性二分类,但是对于非线性问题,也就是得到的分类线不再是一条直线,而是一条曲线时,需要用多层感知机来解决。
3、神经网络就是由多层感知机发展并优化而来的。
4、逻辑回归
感知机是神经网络的基础,逻辑回归模型可以看成感知机模型的优化。也可以看成一种最简单、最基本的神经网络模型。可以说逻辑回归是感知机到神经网络的过渡和链接。
5、感知机模型中是有对线性值y进行判断的过程,即大于0输出1,正类;小于0输出0,负类;----这个判断过程就是由一个非线性的阶跃函数实现的。
####注意: 但是阶跃函数有缺点:就是在0处不可导,也就无法计算梯度。也就无法使用梯度下降算法来确定模型参数wi和b。
6、所以对阶跃函数进行修改,让它变得光滑一些,也就是所谓的sigmoid函数
sigmoid函数数值在(0,1),这样就可以看成是预测正类的概率。当s>0,时,概率>0.5 可以预测为正类; s<=0, 概率<0.5 预测为负类;
7、损失函数(交叉熵损失函数:真实值与预测值之间的差距)
8、梯度下降算法(是为了求损失函数的最小值)
梯度含义:函数在当前位置的导数。
标签:逻辑,阶跃,函数,梯度,模型,感知机,神经网络 From: https://www.cnblogs.com/ar-boke/p/16883617.html