首页 > 其他分享 >机器学习 吴恩达 第十四章 笔记

机器学习 吴恩达 第十四章 笔记

时间:2023-02-24 12:02:02浏览次数:49  
标签:吴恩达 异常 一个 检测 笔记 引擎 第十四章 数据 高斯分布

十四、异常检测(Anomaly Detection)

14.1 问题的动机

  在接下来的小节里,我将大家介绍异常检测(Anomaly detection)问题.这是机器学习算法的一个常见应用.这种算法的一个有趣之处在于:它虽然主要用于非监督学习问题,但从某些角度看,它又类似于一些监督学习问题.
  什么是异常检测呢?为了解释这个概念,让我举一个例子吧:
  假想你是一个飞机引擎制造商,当你生产的飞机引擎从生产线上流出时,你需要进行QA(质量控制测试),而作为这个测试的一部分,你测量了飞机引擎的一些特征变量,比如引擎运转时产生的热量,或者引擎的振动等等.
image

  这样一来,你就有了一个数据集,从\(x_1\)到\(x_m\),如果你生产了\(m\)个引擎的话,你将这些数据绘制成图表,看起来就是这个样子:
image
  这样,异常检测问题可以定义如下:我们假设后来有一天,你有一个新的飞机引擎从生产线上流出,而你的新飞机引擎有特征变量\(x_{test}\).所谓的异常检测问题就是:我们希望知道这个新的飞机引擎是否有某种异常,或者说,我们希望判断这个引擎是否需要进一步测试.因为,如果它看起来像一个正常的引擎,那么我们可以直接将它运送到客户那里,而不需要进一步的测试.
  给定数据集\(x^{(1)},x^{(2)},...,x^{(m)}\).我们假使数据集是正常的,我们希望知道新的数据\(x_{test}\)是不是异常的,即这个测试数据不属于该组数据的几率如何.我们所构建的模型应该能根据该测试数据的位置告诉我们其属于一组数据的可能性\(p(x)\).
image
  上图中,在蓝色圈内的数据属于该组数据的可能性较高,而越是偏远的数据,其属于该组数据的可能性就越低.这种方法称为密度估计,表达如下:
image
  异常检测还有一个应用是欺诈检测.

\[x^{(i)} = 用户的第i个活动特征 \]

  模型\(p(x)\)为我们其属于一组数据的可能性,通过\(p(x) < \varepsilon\)检测非正常用户.
  异常检测主要用来识别欺骗.例如在线采集而来的有关用户的数据,一个特征向量中可能会包含如:用户多久登录一次,访问过的页面,在论坛发布的帖子数量,甚至是打字速度等.尝试根据这些特征构建一个模型,可以用这个模型来识别那些不符合该模式的用户.
  再一个例子是检测一个数据中心,特征可能包含:内存使用情况,被访问的磁盘数量,CPU的负载,网络的通信量等.根据这些特征可以构建一个模型,用来判断某些计算机是不是有可能出错了.

14.2 高斯分布

  在本节中,我将介绍高斯分布也称为正态分布.回顾高斯分布的基本知识.

标签:吴恩达,异常,一个,检测,笔记,引擎,第十四章,数据,高斯分布
From: https://www.cnblogs.com/newblg/p/17150801.html

相关文章

  • uni-app学习笔记之----页面跳转
    1、声明式跳转<navigatorurl="/pages/detail/detail"><button>跳转至详情页</button></navigator><navigatorurl="/pages/index/index"open-type="switchTab"......
  • 瑞芯微 | 摄像头ov13850移植笔记
    《2.Linux驱动|瑞芯微rtc-hym8563移植笔记》《3.Linux驱动|Linux内核RTC时间架构-基于瑞芯微》0、环境soc:rk3568board:EVB1-DDR4-V10软件:Android11Lin......
  • STATA:字符串包含学习笔记
    keep序号事业单位主管部门举办单位岗位类别岗位等级岗位性质岗位名称招聘人数学历要求学位要求大学专科专业要求大学本科专业要求研究生专业要求其他条件......
  • kettle9.3使用笔记03 网页端使用
    1:浏览器打开网址http://xx.xx.xx.xx:8080/pentaho/Login,输入用户密码   如密码忘记可登录服务器重置密码后重启pentaho服务hostname[/home/soft/pentaho-server9.3......
  • kettle9.3使用笔记02 客户端配置使用
    下载地址:https://sourceforge.net/projects/pentaho/files/第一次使用,所以就选目前最新版本9.3,服务器端选择pentaho-server-ce-9.3.0.0-428.zip,本地客户端选择pdi-ce-9.3......
  • 考研算法辅导课笔记:第十五讲--字符串处理,递归和背包
    比较轻松的一节课字符串处理。不需要用到算法,只是考察对于字符串处理的API是否熟悉。递归。经典的问题,把每一个问题划归成若干相同的子问题。背包问题。典型的dp问题,......
  • kettle9.3使用笔记01 安装 启动
    下载地址:https://sourceforge.net/projects/pentaho/files/第一次使用,所以就选目前最新版本9.3,服务器端选择pentaho-server-ce-9.3.0.0-428.zip,本地客户端选择pdi-ce-9.3......
  • uni-app学习笔记之----不同平台,独立设置
    (不断补充中。。。)1、导航栏2、条件编译不同的条件标记,会被编译到不同的平台开头:【#ifdef】或【#ifndef】+平台名称结尾:【#endif】html中: js中: css中:......
  • 吴恩达神经网络与深度学习——深度学习引言
    一、深度学习引言1.应用对于图像应用,我们经常在神经网络上使用卷积(ConvolutionalNeuralNetwork),通常缩写为CNN。对于序列数据,例如音频,语言,英语和汉语字母表或单词,......
  • 读Java实战(第二版)笔记19_尾声
    1. Scala1.1. 混合了面向对象和函数式编程的语言1.2. 直接使用任何一个Java类库1.3. 声明非递归的方法时,不需要显式地返回类型1.3.1. 会自动地替你推断生成一个......