首页 > 其他分享 >感知机、逻辑回归、损失函数

感知机、逻辑回归、损失函数

时间:2022-11-12 14:13:24浏览次数:53  
标签:逻辑 阶跃 函数 梯度 模型 感知机 神经网络

1、感知机是一种简单的线性二分类模型,是神经网络的基础。

有x1,x2,...xn个输入,所有的输入会进入到神经元,在神经元中,每个输入x都会与之对应的权重参数wi相乘,在计算所有输入信号的加权和之后,与固定偏执参数b进行比较,比b大的则得到输出结果y为1,比b小的则得到输出结果y为0;但是b是一个常数 对最后的结果没什么影响所以进行了移项,用b代替-b。y=(累加和)wi*xi+b

2、用逻辑电路引入介绍单层感知机与多层感知机。

单层感知机是可以解决线性二分类,但是对于非线性问题,也就是得到的分类线不再是一条直线,而是一条曲线时,需要用多层感知机来解决。

3、神经网络就是由多层感知机发展并优化而来的。

4、逻辑回归

感知机是神经网络的基础,逻辑回归模型可以看成感知机模型的优化。也可以看成一种最简单、最基本的神经网络模型。可以说逻辑回归是感知机到神经网络的过渡和链接。

5、感知机模型中是有对线性值y进行判断的过程,即大于0输出1,正类;小于0输出0,负类;----这个判断过程就是由一个非线性的阶跃函数实现的。

####注意: 但是阶跃函数有缺点:就是在0处不可导,也就无法计算梯度。也就无法使用梯度下降算法来确定模型参数wi和b。

6、所以对阶跃函数进行修改,让它变得光滑一些,也就是所谓的sigmoid函数

sigmoid函数数值在(0,1),这样就可以看成是预测正类的概率。当s>0,时,概率>0.5 可以预测为正类; s<=0, 概率<0.5 预测为负类; 

7、损失函数(交叉熵损失函数:真实值与预测值之间的差距)

 8、梯度下降算法(是为了求损失函数的最小值)

 

梯度含义:函数在当前位置的导数。

 

标签:逻辑,阶跃,函数,梯度,模型,感知机,神经网络
From: https://www.cnblogs.com/ar-boke/p/16883617.html

相关文章

  • 进制转化的函数
    /*--进制转换--*/#include<bits/stdc++.h>usingnamespacestd;intwei[100005];//用于储存转化后的每一位intten_to_n(intx,intn);......
  • 自定义函数二分法查找,数组问题
    intfind(intarr1[],intx,inty){intleft=0;intright=y-1;while(right>=left){if(x>arr1[(left+right)/2])left=(left+right)/2+1;elseif(x<arr1[(l......
  • MySQL 单行函数
    单行函数:输入一行,输出一行聚合函数(分组函数):输入多行,输出一行  单行函数:输入一行,输出一行聚合函数(分组函数):输入多行,输出一行#1.数值函数#基本的操作......
  • 命名、变量、代码和函数
    这是一个函数注意事项以供参考。函数的定义是以def开始的函数名由字符和下划线_组成函数名后紧跟()括号包含参数且多个参数以逗号隔开参数名称不可以重复紧跟这参数的......
  • 关系仿函数
    4.3.3关系仿函数功能描述:实现关系对比仿函数原型:template<classT>boolequal_to<T>//等于template<classT>boolnot_equal_to<T>......
  • 逻辑仿函数
    4.3.4逻辑仿函数功能描述:实现逻辑运算函数原型:template<classT>boollogical_and<T>//逻辑与template<classT>boollogical_or<T>......
  • 函数递归+线性表
    今日学习了函数的递归,递归指的是函数重复引用自身,为了避免栈溢出,应设置合适的限制条件。下面将今天做的练习进行整理:练习1:接收一个整型值,按照顺序打印他的每一位#include<st......
  • 函数对象
    4STL-函数对象4.1函数对象4.1.1函数对象概念概念:重载函数调用操作符()的类,其对象常称为函数对象函数对象使用重载的()时,行为类似函数调用,也叫仿函数本质:函......
  • 算术仿函数
    4.3.2算术仿函数功能描述:实现四则运算其中negate是一元运算,其他都是二元运算仿函数原型:template<classT>Tplus<T>//加法仿函数template<clas......
  • 编写C程序,实现顺序栈的下列功能: 1、设计一个虚拟界面,让用户选择操作(根据提示输入数据
    编写C程序,实现顺序栈的下列功能: 1、设计一个虚拟界面,让用户选择操作(根据提示输入数据)2、采用模块化编程思想,编写main函数和若干子函数(实现功能)3、栈的基本功能有:创......