首页 > 其他分享 >为什么使用交叉熵作为逻辑回归的损失函数?

为什么使用交叉熵作为逻辑回归的损失函数?

时间:2024-01-27 22:45:25浏览次数:34  
标签:似然 逻辑 函数 交叉 估计 参数 使用

整理以前学习过程中的疑问。

为什么使用交叉熵作为逻辑回归的损失函数?

频率学派的一种估计参数的方法,这种方法适合分类回归任务。

必须要提一下的是,频率学派将参数\(\theta\)​看作一个未知待估计的常数,其目标是使用带一定性质的估计方法求出。

似然函数就是其中的一种方法。

A

拾人牙慧,给出参考

可以近似的理解为条件概率的逆反

使用已知的事件来估计参数的概率(或者更准确的说:似然)
而使用概率来估计事件发生就是典型的一种条件分布
image

下面开始论述什么是似然

阅读时注意两点:

  • 似然是一种对应已知事件的参数估计,可以近似理解为参数的概率。
  • 我们认为参数是一个未知待估计的常数,求其似然只是为了最大似然估计一个最优值而已。

image

B

逻辑分类的损失函数不使用二乘而是用交叉熵

从最大似然估计的角度说明

论述如下:

image

C

初学,理解可能有偏颇,不当之处请指出。

标签:似然,逻辑,函数,交叉,估计,参数,使用
From: https://www.cnblogs.com/aoidayo/p/17992297

相关文章

  • Jmeter:逻辑控制器(二)
    一前言环境:Jmeter5.3window10本篇继续记录逻辑控制器二逻辑控制器1吞吐控制器按照官方的说法,此控制器的命名并不正确,因为它并不直接控制吞吐量该控制器用来控制其子节点的执行的频率,有两种模式执行百分比执行次数未勾选peruser的情况下,假设线程组那里配置循......
  • 通达信双人合抱,源码有未来函数的源码副图
     双人合抱网友投稿的公式,竟然是这样的一个公式,源码有未来函数的 ZYX1:="DMI.PDI"(12,6);ZYX2:="DMI.MDI"(12,6);ZYX3:=ZYX1>65ANDZYX1>REF(ZYX1,1);ZYX4:=LLV(ZYX1,0);ZYX5:=BARSLAST(ZYX4=ZYX1);ZYX6:=(0-REF(ZYX2,4))/(ZYX4-REF(ZYX2,ZYX5))>2;ZYX7:=ZYX1......
  • 注册和登录后端逻辑
    注册逻辑:用户在前端输入账户和密码、以及校验码(todo)校验用户的账户、密码、校验密码,是否符合要求非空账户长度不小于4位密码就不小于8位账户不能重复账户不包含特殊字符密码和校验密码相同对密码进行加密(密码千万不要直接以明文存储到数据库中)向数据库插入用户数......
  • 工作表函数是色盲
    问题:用函数列出序列数,跳过灰色单元格。解决:添加辅助列再使用公式=IF(C2="休息日","",COUNTIF(C$2:C2,"工作日"))工作表函数无法对颜色进行判断,所以添加辅助列说明灰色与非灰色的差异If部分用于判断当C列是休息日时返回空Countif部分计算工作日依次出现的次数,以此作......
  • C# .NET 中 LINQ to Entities查询中使用时转换为数据库函数的CLR方法(EF.Functions)
    EF.Functions映射由于并非所有数据库函数都有等效的C#函数,因此EFCore提供程序提供了特殊的C#方法来调用某些数据库函数。这些方法通过EF.Functions定义为扩展方法来用于LINQ查询中。这些方法是特定于提供程序的,因为它们与特定数据库函数密切相关。因此,适用于某个......
  • 无涯教程-Scala Tuples函数
    Scala元组将固定数量的项目组合在一起,以便它们可以作为整体传递。与数组或列表不同,元组可以容纳不同类型的对象,但它们也是不可变的。以下是一个包​​含整数,字符串和控制台的元组的示例。valt=(1,"hello",Console)以下是语法糖-valt=newTuple3(1,"hello",Console)元......
  • strftime()函数的用法
    strftime()函数的用法strftime()函数可以把YYYY-MM-DDHH:MM:SS格式的日期字符串转换成其它形式的字符串。strftime()的语法是strftime(格式,日期/时间,修正符,修正符,...)函数strftime()的操作有些类似于sprintf():识别以百分号(%)开始的格式命令集合,格式化输出结果放在一个......
  • [office] EDATE函数计算合同到期日
    每个公司都会有合同管理,做为HR管理人员,做一个自己一目了然的合同到期模板,是非常有必要的。今天一下合同到期模板的制作。包括:根据合同签订日期与合同期限用EDATE函数计算合同到期日;DATEDIF计算距离到期日的天数,并设置“交通三色灯”提醒。关键操作根据合同签订日期与期限计算到期日......
  • [office] Excel中Count函数统计考勤[经验] 金领冠奶粉怎么辨别真伪表的操作方法
    Excel越来越广泛的被使用,从日常的记录到工作中的操作,如果利用它进行考勤能够大大提高效率,而这个过程只需要借助COUNT函数。今天,小编就教大家在Excel中Count函数统计考勤表的操作方法。Excel中Count函数统计考勤表的操作步骤如下:1、COUNT函数是用于计算参数列表中的数字......
  • [office] Excel中Frequency函数统计各分数段人数的应用
    通常在在Excel中统计不同分数段或者不同的年龄段人数的方法有利用Countif(X,Y)函数和利用函数Frequency(X,Y),Fequency函数是一个频数函数,它具有统计各区间的频数的功能,使用比较简单,而且它也有两个参数,需要用英语逗号分开,第一个参数"X"是要进行统计的数据,第二个参数"Y"是分组的依据,......