首页 > 编程语言 >机器学习之——决策树信息增益计算[附加计算程序]

机器学习之——决策树信息增益计算[附加计算程序]

时间:2024-09-02 18:05:03浏览次数:11  
标签:play 4.0 outlook 增益 计算 决策树 temperature

0 前言

1 信息增益计算公式

image

  • g(D,A)表示在条件A下对于目标变量D的信息增益。
  • H(D)表示随机变量D的信息熵。
  • H(D|A)表示在随机变量A条件下对于目标变量D的条件熵。

2 信息增益的计算

2.1 g(play,outlook)的计算

g(play,outlook)表示在随机变量outlook条件下对于目标变量play的信息增益,计算步骤如下。

  • 完整公式:g(play,outlook)=H(play)-H(play|outlook)

  • 首先要计算H(play),详细计算方法请看信息熵,计算式如下所示。
    image

  • 然后计算H(play|outlook),详细计算方法请看条件熵,计算式如下。
    image

  • 最后计算g(play,outlook),计算式如下。
    image

2.2 g(play,temperature)的计算

g(play,temperature)表示在随机变量temperature条件下对于目标变量play的信息增益,计算步骤如下。

  • 完整公式:g(play,temperature)=H(play)-H(play|temperature)

  • 首先要计算H(play),详细计算方法请看信息熵,计算式如下所示。
    image

  • 然后计算H(play|temperature),详细计算方法请看条件熵,计算式如下。
    H(play|temperature='cool')=-(1.0/4.0)log2(1.0/4.0)-(3.0/4.0)log2(3.0/4.0)=0.8113
    H(play|temperature='hot')=-(2.0/4.0)log2(2.0/4.0)-(2.0/4.0)log2(2.0/4.0)=1.0000
    H(play|temperature='mild')=-(2.0/6.0)log2(2.0/6.0)-(4.0/6.0)log2(4.0/6.0)=0.9183
    H(play|temperature)=(4.0/14)* H(play|temperature='cool')+(4.0/14)* H(play|temperature='hot')+(6.0/14)* H(play|temperature='mild')=0.9111

  • 最后计算g(play,temperature),计算式如下。
    g(play,temperature)=H(play)-H(play|temperature)=0.9403-0.9111=0.0292

3 计算程序

程序

4 结语

如有错误请指正,禁止商用。

标签:play,4.0,outlook,增益,计算,决策树,temperature
From: https://www.cnblogs.com/hello-nullptr/p/18393059

相关文章

  • 信息学奥赛初赛天天练-82-NOIP2014普及组-完善程序-机器语言、汇编语言、高级语言、计
    1NOIP2014普及组基础题11以下哪个是面向对象的高级语言()A汇编语言BC++CFortranDBasic2TB代表的字节数是()A2的10次方B2的20次方C2的30次方D2的40次方3二进制数00100100和00010101的和是()A00101000B001010......
  • springboot多媒体内容管理系统-计算机毕业设计源码08580
    摘 要随着人类向信息社会的不断迈进,风起云涌的信息时代正掀起一次新的革命,同时计算机网络技术高速发展,网络管理运用也变得越来越广泛。因此,建立一个多媒体内容管理系统(CMS)的设计与优化来管理多媒体内容信息,会使管理工作系统化、规范化,提高管理效率。本课题的研究对象是多媒......
  • springboot中小型酒店管理系统-计算机毕业设计源码02793
    摘要随着互联网和移动技术的快速发展,酒店行业也面临着巨大的变革和机遇。传统的酒店管理方式存在着信息不透明、预订流程繁琐等问题,无法满足现代消费者对便捷、高效、个性化服务的需求。因此,开发中小型酒店管理系统具有重要的意义。本文旨在设计和实现一种功能完善、易用且可......
  • 基于python+flask框架的基于移动端的疫情环境下大学生心理服务平台(开题+程序+论文) 计
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着全球疫情的持续蔓延,大学生群体作为社会的重要组成部分,其心理健康问题日益凸显。疫情期间,校园封闭管理、线上学习模式的转变、社交活动......
  • 基于python+flask框架的企业内部通讯系统(开题+程序+论文) 计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着企业规模的日益扩大和业务的全球化发展,企业内部沟通的高效性与及时性成为了影响企业运营效率与团队协作的关键因素。传统的沟通方式如......
  • 基于python+flask框架的心理健康管理系统(开题+程序+论文) 计算机毕设
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着现代社会节奏的加快与竞争的日益激烈,心理健康问题已成为不容忽视的社会议题。据统计,全球范围内心理健康问题的患病率逐年上升,对个人生......
  • 基于python+flask框架的基于web的线上考试管理系统的设计与实现(开题+程序+论文) 计算机
    本系统(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。系统程序文件列表开题报告内容研究背景随着信息技术的飞速发展,教育领域正经历着深刻的变革。传统考试模式因其效率低下、管理繁琐且难以适应大规模、远程教学的需求,已逐渐显现出......
  • python计算器制作
    好了,本期我们来制作一个计算器,就像下面那个视频一样,方便快速,让我们来看看吧!视频让我们一起做一个吧引入模块我们需要先在cmd输入pipinstallPySimpleGUI,然后引入这个模块importPySimpleGUIassg2.初始化图形化界面定义界面布局:layout=[[sg.In(key="-I-",disabled=True,siz......
  • 计算机毕设选题-基于Java的茶园信息管理平台
    ......
  • 每日一题:Leetcode-224 基本计算器
    力扣题目解题思路java代码力扣题目:给你一个字符串表达式 s ,请你实现一个基本计算器来计算并返回它的值。注意:不允许使用任何将字符串作为数学表达式计算的内置函数,比如 eval() 。示例1:输入:s="1+1"输出:2示例2:输入:s="2-1+2"输出:3示例3:输入:s......