首页 > 编程语言 >时间序列无监督异常点检测算法_孤立森林,局部离群因子检测和自编码器

时间序列无监督异常点检测算法_孤立森林,局部离群因子检测和自编码器

时间:2024-09-23 09:21:23浏览次数:10  
标签:编码器 异常 孤立 数据 检测 算法 离群 data

数据入口:压气机异常检测一维时间序列 - Heywhale.com

该数据为采样自工业压气机的一维时间序列数据。本文将通过无监督时间序列算法进行时间序列异常检测。针对时间序列数据,常用的无监督异常检测算法包括:孤立森林(Isolation Forest)、基于密度的局部离群因子检测(LOF)、自编码器(Autoencoders)等。根据数据特性可以选择合适的算法。时间序列数据可能需要预处理,如归一化、缺失值处理等,以确保算法的有效性。最后使用选定的算法对数据进行训练,并识别出异常点。

一:孤立森林

孤立森林(Isolation Forest)是一种高效的异常检测算法。它基于这样的观察:异常数据通常数量较少且与正常数据有较大差异,因此在数据集中更容易被孤立。孤立森林通过构建多棵随机的二叉树(孤立树),每棵树都随机选择特征和切分点来递归地分割数据,直到每个数据点都被孤立到自己的节点上。异常点由于其独特的属性,通常会在较少的分割步骤中就被孤立,因此它们在树中的路径较短。

孤立森林算法的主要特点包括:

  1. 高效性:具有线性时间复杂度,适合处理大规模数据集。
  2. 无需参数调整:算法性能不太依赖于参数设置,如树的数量和子采样的大小。
  3. 易于并行化:由于每棵树的构建是独立的,可以并行处理。
  4. 鲁棒性:对高维数据和稀疏数据表现良好。

算法的流程大致如下:

  1. 从数据集中随机抽取一定数量的样本作为子样本。
  2. 对于每个子样本,随机选择一个特征和一个切分点,构建一棵孤立树。
  3. 重复步骤1和2,构建多棵孤立树,形成孤立森林。
  4. 对于新的样本,通过计算其在森林中的平均路径长度来判断其是否为异常。

在Python中,可以使用sklearn.ensemble.IsolationForest来实现孤立森林算法。通过调整参数如n_estimators(树的数量)、max_samples(构建子树的样本数)、contamination(异常数据的比例估计)等,可以在不同数据集上优化算法的性能。

数据集包含三个特征:导叶开度、燃料流量(单位:

标签:编码器,异常,孤立,数据,检测,算法,离群,data
From: https://blog.csdn.net/2301_80651329/article/details/142445824

相关文章

  • 设备指示灯开关状态识别检测系统
    设备指示灯开关状态识别检测系统是基于yolo网络图像识别系统,无需新增硬件设备指示灯开关状态识别检测系统利用现场已有的监控摄像头代替人工巡检,实现7*24小时自动识别仪表示数或开关状态,通过平台上报管理员提高仪表读数识别的工作效率并降低出错率。随着科技的进步以及工业技术......
  • 传送带上料口缺料识别检测系统 YOLOv5
    传送带上料口缺料识别检测系统利用高清监控摄像头覆盖传送带的上料口,传送带上料口缺料识别检测系统通过AI视觉识别算法对传送带上运输物料的情况进行实时监测。传送带上料口缺料识别检测系统能够准确识别传送带上的堵料、漏料和缺料情况,并根据设定的阈值判断是否异常。传送带上......
  • 编码器与霍尔传感器的工作原理及区别
    霍尔传感器示意图:120度安装: 60度安装:霍尔编码器示意图:工作原理:霍尔传感器:基于霍尔效应,利用霍尔元件检测磁场变化,从而确定位置和运动。当磁场发生变化时,霍尔传感器产生电压信号,用于检测转子位置或线性运动的位置。霍尔传感器通常用于无刷直流电机中,通过检测永磁体的位......
  • 校园打架行为识别检测系统
    校园打架行为识别检测系统基于python深度学习框架+边缘分析技术,自动对校园监控视频图像信息进行分析识别。校园打架行为识别检测系统利用学校监控对校园、广场等区域进行实时监测,当监测到有人打架斗殴时,系统立即抓拍存档语音提醒,并将打架行为回传给学校监控后台,提醒后台人员及时处......
  • 电赛毕设:基于stm32的非接触式交流电流检测装置
    需求如下:设计一种非接触式的交流电流检查装置1、基本要求:(1)由任意波信号发生器产生的信号经功率放大电路驱动后,通过导线连接1002电阻负载,形成一电流环路:(2)设计一采用非接触式传感的电流信号检测装置。2、发挥要求:(1)检测环路电流信号的幅度及频率(2)将信号的参数显示出来......
  • VISIA 皮肤检测
    费用:自费158元不能医保报销先清洁肌肤,然后做一个皮肤检测.1200万像素高清摄像头,一个白光,一个偏正光,还有一个紫外光,三种模式,分析面部情况.8张图反应皮肤情况应用:在医美前和医美一次修复完成后,皮肤情况对比.数值越高越好斑点图:皱纹图:分数比较低的话,......
  • 变化检测从 Angular zonejs) 到 Angular (provideExperimentalZonelessChangeDetectio
    更改检测是angular的一个基本方面,负责识别和更新dom中因数据修改或用户交互而发生更改的部分。此过程可确保ui与底层数据保持一致,从而增强用户体验和应用程序性能。zone.js的作用从历史上看,angular一直依赖zone.js来实现其变更检测机制。zone.js是一个拦截异步......
  • 使用人工智能检测过时的描述
    开发人员文档通常在每个文件中包含描述。这些描述可能会过时,导致混乱和不正确的信息。为了防止这种情况,您可以使用一些ai和genaiscript自动检测文档中过时的描述。markdown和frontmatter许多文档系统使用markdown格式来编写文档,并使用“frontmatter”标头来存储元数......
  • 基于单片机的风机故障检测装置的设计与实现
    基于单片机的风机故障检测装置的设计与实现毕业论文摘要本文设计并实现了一种基于单片机的风机故障检测装置,旨在通过集成多种传感器和单片机控制技术,实时监测风机的运行状态,并在检测到故障时及时报警。系统采用STM32F103单片机作为核心控制单元,结合DS18B20温度传感器、ACS712......
  • 2、状态检测、Stelnet
    1、路由器、防火墙收到三层数据包1.1、匹配策略路由,如果匹配,按照策略路由执行的路径转发1.2、如果没有匹配策略路由,该流量查询设备路由表执行转发1.3、无路由,丢包在这种情况下,为了保证业务正常,就需要关闭FW的状态检测功能。当关闭状态检测功能后,FW可以通过后续报文建立会......