首页 > 其他分享 >R语言航班延误影响预测分析：lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证

R语言航班延误影响预测分析：lasso、决策树、朴素贝叶斯、QDA、LDA、缺失值处理、k折交叉验证

时间：2023-06-12 22:11:25浏览次数：76  
标签：LDA QDA ## 模型 lda 决策树 th accuracy lasso

全文链接：http://tecdat.cn/?p=32760

原文出处：拓端数据部落公众号

航班延误是航空公司、旅客和机场管理方面都面临的一个重要问题。航班延误不仅会给旅客带来不便，还会对航空公司和机场的运营产生负面影响。因此，对航班延误的影响因素进行预测分析，对于航空公司、旅客和机场管理方面都具有重要意义。

本文通过对航班数据进行分析，帮助客户使用lasso变量筛选、决策树、朴素贝叶斯、QDA、LDA等方法，对航班延误的影响因素进行预测分析。同时，本文还对缺失值进行处理，并使用k折交叉验证对模型进行评估。

数据来源和预处理

本文所使用的数据集为航班数据集。数据集中包括了航班号、起飞时间、到达时间、起飞机场、到达机场、航班延误等信息。

  
data=read.table("12_months_dataFinal.csv")

head(data)

image.png

image.png

image.png

image.png

  
colnames(data)

image.png

在审查数据之后，有几个方面被认为对航班延误有影响。

1.航空公司：航空公司，尾号和航班号。

2.时间：季度、月和日。

3.操作：承运人，尾号和航班号。

4.地理：起源机场和目的地机场。

选择一些变量做个图看一下变化趋势

image.png

image.png

image.png

image.png

image.png

因变量为：ARR_DELAY

分别采用三种方法对空值进行处理

在进行数据分析之前，需要对数据进行预处理。本文采用了如下方法进行数据预处理：

（1）删除法

  
data1=na.omit(data)

image.png

（2）平均值补缺

  
data2[index,i]=mean(na.omit(data[,i]))

image.png

（3）多重补插法进行补缺。

  
completedData <- complete(tempData,1)

方法

本文使用了如下方法对航班延误的影响因素进行预测分析：

  • lasso变量筛选
  • 决策树
  • 朴素贝叶斯
  • QDA
  • LDA
  • k折交叉验证

变量筛选

使用lasso算法进行筛选变量

使用lasso算法进行筛选变量是指在统计学和机器学习中，使用一种叫做Lasso（Least Absolute Shrinkage and Selection Operator）的算法来进行特征选择的过程。Lasso算法通过对数据进行正则化，将某些特征的系数缩小至0，从而实现对特征的筛选和降维。这样可以避免过拟合和提高模型的泛化能力，同时还可以提高模型的解释性和可解释性。Lasso算法在数据挖掘、生物信息学、金融、图像处理等领域都有广泛的应用。

  
xmat <- model.matrix( ARR\_DELAY\~. -DEP\_DELAY- DEP\_DEL15-ARR\_DEL15 , dat

建立lasso模型

  
cv.lasso <- cv.glmn

1111.png

  
coef(cv.lasso

image.png

根据lasso筛选出最优的变量

Lasso（Least Absolute Shrinkage and Selection Operator）是一种用于特征选择和回归分析的统计方法。它可以通过对输入数据进行正则化来减少模型的复杂度，并且可以将一些不重要的特征的权重缩小甚至归零，从而达到特征筛选的目的。

在Lasso中，通过调整正则化参数λ的大小，可以控制模型的复杂度和特征选择的程度。当λ越大时，模型的复杂度越小，特征选择的程度越高。因此，可以通过交叉验证等方法来选择最优的λ值，进而筛选出最优的变量。

简而言之，通过Lasso方法筛选出最优的变量，就是在控制模型复杂度的前提下，选出对目标变量影响最大的特征，从而提高模型的预测能力。

  
variables<-row\.names(c)\[inds]

image.png

筛选变量

  
data2=data2[,c(variables[-1],"ARR_DELAY")]

使用决策树填充缺失值

使用决策树填充缺失值是指在数据集中存在缺失值的情况下，使用决策树模型来预测缺失值并进行填充。具体地，可以将数据集中的所有特征和标签都作为输入，将含有缺失值的样本作为测试数据，利用已有的数据来训练决策树模型，然后使用训练好的模型来预测缺失值并进行填充。这种方法可以利用数据集中已有的信息来预测缺失值，从而提高数据的完整性和可用性。

  
m <- rpart(ARR_DELAY~  QUARTER+MONTH+DAY_OF_MONTH+DAY_OF_WEEK+UNIQUE_CA

image.png

查看重要变量

  
m$variable.importance

image.png

预测缺失值

  
predict(m, data[notna

image.png

朴素贝叶斯

朴素贝叶斯是一种基于贝叶斯定理的分类算法。它假设所有特征之间相互独立，即朴素贝叶斯算法中的“朴素”指的是这种独立性假设。该算法通过计算每个类别的先验概率和每个特征在每个类别中的条件概率来预测新数据的分类。朴素贝叶斯算法在文本分类、垃圾邮件过滤、情感分析等领域得到了广泛应用。

  
mod1<-naiveBayes ( class~  ARR_DELAY_GROUP+DEP_DELAY_NEW+DEP_DELAY_GROU

混淆矩阵

混淆矩阵是用于评估分类模型性能的一种方法。它是一个二维矩阵，其中行表示真实类别，列表示预测类别。矩阵中的每个元素表示属于真实类别的样本被预测为属于预测类别的数量。混淆矩阵可以用于计算准确率、召回率、F1分数等指标，以评估分类模型的性能。

  
table(data2[1:50000,"class"], fit)

image.png

  
plot( performance( prediction(as.numeric(fit), as.numeric(data2[1:50000,

image.png

  
s"] )), "auc" )@y.values[[1]]

image.png

测试数据

  
fit <-predict(mod1,datates )
plot( performance( prediction(as.numeric(fit), as.numeric(datatest[1:90,

image.png

k折交叉验证

k折交叉验证是一种常用的模型评估方法。它将数据集分成k个等份，然后每次将其中一个子集作为验证集，剩下的k-1个子集作为训练集，进行k次模型训练和验证。最终将k次验证的结果取平均值作为模型的性能指标。这种方法可以有效地利用数据集，减小因为数据集不同而导致的模型性能差异，并且可以避免过拟合。

  
performance( prediction(as.numeric(fit), as.numeric(datatest[1:90,"clas

k=10  
for(kk in 1:k){  
  index=sample(1:dim(data2)[1],floor(dim(data2)[1]*(1/k)),replace=F)#se

image.png

QDA

QDA是一种分类算法，全称为Quadratic Discriminant Analysis，即二次判别分析。它是一种基于贝叶斯定理的分类方法，适用于分类问题中的多个类别和多个特征。QDA假设每个类别的特征分布都是高斯分布，并且每个类别的协方差矩阵不同，因此可以通过计算每个类别的概率来进行分类。与线性判别分析（LDA）相比，QDA可以更好地处理非线性的分类问题，但是由于需要估计每个类别的协方差矩阵，当特征维度很高时，计算复杂度会很高。

  
z <- qda(data2[,c(selection2

image.png

  
##ROC  
  
plot( performance( prediction(as.numeric(fit), as.n

image.png

  
performance( prediction(as.numeric(fit),  as.numeric(data2[ ,"class"]

image.png

k折交叉验证

  
## 1  th accuracy of qda is  0.8807619  
## 2  th accuracy of qda is  0.8872381  
## 3  th accuracy of qda is  0.8798095  
## 4  th accuracy of qda is  0.8899048  
## 5  th accuracy of qda is  0.888  
## 6  th accuracy of qda is  0.8822857  
## 7  th accuracy of qda is  0.8746667  
## 8  th accuracy of qda is  0.8912381  
## 9  th accuracy of qda is  0.8857143  
## 10  th accuracy of qda is  0.8965714

precisek/k#caculate precision

## [1] 0.885619

LDA分类线性判别分析

线性判别分析是一种很重要的分类算法，同时也是一种降维方法（这个我还没想懂）。和PCA一样，LDA也是通过投影的方式达到去除数据之间冗余的一种算法。

  
z <- lda(class ~ ., data2

image.png

ROC

ROC代表接收者操作特征曲线（Receiver Operating Characteristic Curve），是一种用于评估分类模型性能的方法。ROC曲线是一条以假阳性率（False Positive Rate）为横坐标，真阳性率（True Positive Rate）为纵坐标的曲线。ROC曲线越靠近左上角，说明模型的性能越好。ROC曲线下方的面积被称为AUC（Area Under the Curve），AUC越大，模型的性能越好。

image.png

  
performance( prediction(as.numeric(fit), as.numeric(data2[ ,"class"])),

image.png

k折交叉验证

  
## 1  th accuracy of lda is  0.831619  
## 2  th accuracy of lda is  0.8251429  
## 3  th accuracy of lda is  0.8213333  
## 4  th accuracy of lda is  0.8219048  
## 5  th accuracy of lda is  0.8209524  
## 6  th accuracy of lda is  0.8184762  
## 7  th accuracy of lda is  0.8226667  
## 8  th accuracy of lda is  0.8171429  
## 9  th accuracy of lda is  0.816381  
## 10  th accuracy of lda is  0.8251429

precisek/k#caculate precision

## [1] 0.8220762

决策树

决策树是一种基于树形结构的分类和回归算法，它通过对数据集进行分割，逐步生成一棵决策树，每个节点代表一个决策，每个分支代表一个可能的结果，最终叶子节点代表分类或回归的结果。在分类问题中，决策树可以通过一系列的条件判断对数据进行分类；在回归问题中，决策树可以通过对数据进行分割并对每个分割区域内的数据进行平均或加权平均来预测数值型的结果。决策树具有易于理解、易于实现、可解释性强等优点，但也容易出现过拟合等问题。

  
z <- rpart(class ~ ., data2[,c(selection2,"class")]  )

image.png

  
plot( performance( prediction(as.num

image.png

  
## 1  th accuracy of lda is  1  
## 2  th accuracy of lda is  1  
## 3  th accuracy of lda is  1  
## 4  th accuracy of lda is  1  
## 5  th accuracy of lda is  1  
## 6  th accuracy of lda is  1  
## 7  th accuracy of lda is  1  
## 8  th accuracy of lda is  1  
## 9  th accuracy of lda is  1  
## 10  th accuracy of lda is  1

precisek/k#caculate precision

## [1] 1

QQ截图20220925234816.png

最受欢迎的见解

1.PYTHON用户流失数据挖掘：建立逻辑回归、XGBOOST、随机森林、决策树、支持向量机、朴素贝叶斯模型和KMEANS聚类用户画像

2.R语言基于树的方法：决策树，随机森林

3.python中使用scikit-learn和pandas决策树

4.机器学习：在SAS中运行随机森林数据分析报告

5.R语言用随机森林和文本挖掘提高航空公司客户满意度

6.机器学习助推快时尚精准销售时间序列

7.用机器学习识别不断变化的股市状况——隐马尔可夫模型的应用

8.python机器学习：推荐系统实现（以矩阵分解来协同过滤）

9.python中用pytorch机器学习分类预测银行客户流失

标签：LDA,QDA,##,模型,lda,决策树,th,accuracy,lasso
From： https://www.cnblogs.com/tecdat/p/17476230.html

相关文章

  • Open Project 系列2 --- 集成LDAP
    一、概要1.承上启下OpenProject系列二、配置1.配置页面OpenProject可以通过页面来配置LDAP。(1)使用Admin账户登录后点击右上角头像，进入"Administration->Authentication->LDAPAuthentication"页面：(2)点击右上角的"Authenticationmode":三、参考1.官方ht......
  • 基于LDAP&&Role-based Authorization Strategy实现Jenkins团队权限管理
    在实际工作中，存在多个团队都需要Jenkins来实现持续交付，但是又希望不同团队之间进行隔离，每个项目有自己的view,只能看到自己项目的jenkinsjob.但是，jenkins默认的权限管理体系不支持用户组或角色的配置，这里利用Role-basedAuthorizationStrategy实现上述目的权限角色配置直接跳过......
  • 字符串转LocalDateTime
    /***yyyy-MM-ddHH:mm:ss转LocalDateTime*@paramexpectStartTime*@return*/publicstaticLocalDateTimestrToLocalDateTime(StringexpectStartTime){returnLocalDateTime.parse(expectStartTime,DateTimeFormatter.ofPattern("yyyy-MM-ddHH:......
  • Java代码实现带时区时间字符串转为LocalDateTime对象
    不带时区时间字符串可以使用Java8中的DateTimeFormatter类来将字符串转换为LocalDateTime对象。下面是一个示例代码：importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassDateTimeConversionExample{publicstaticvoidmain(String[......
  • AD 域服务简介（一）- 基于 LDAP 的 AD 域服务器搭建及其使用（转）
    一、前言1.1AD域服务什么是目录（directory）呢？日常生活中使用的电话薄内记录着亲朋好友的姓名、电话与地址等数据，它就是telephonedirectory（电话目录）；计算机中的文件系统（filesystem）内记录着文件的文件名、大小与日期等数据，它就是filedirectory（文件目录）。如果这些目录内的数......
  • 最小二乘法的矩阵正则化改进——“岭回归”和“LASSO回归”算法
    看代码过程中发现了一个很奇怪的概念，叫做“最小二乘法的矩阵正则化”，这个词汇十分的陌生，虽然最小二乘法是知道的，但是用了矩阵正则化的最小二乘法是个什么东西呢？  相关代码见：强化学习：连续控制问题中Actor-Critic算法的linearbaseline  后来在网上一通查才知道，原来“最小二乘法......
  • 【视频】R语言机器学习高维数据应用：Lasso回归和交叉验证预测房屋市场租金价格
    分析师：JunjunLi在这篇文章中，我们将着重探讨高维数据下的机器学习应用，以房屋市场租金价格预测为例。在实际生活中，房屋租金作为一个重要的经济指标，被广泛应用于城市规划、财务投资等方面的决策中。然而，如何准确地预测房屋租金价格却一直是一个具有挑战性的问题。本文将介绍如何使用L......
  • NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据
    全文链接：http://tecdat.cn/?p=2155最近我们被客户要求撰写关于NLP自然语言处理的研究报告，包括一些图形和统计输出。随着网民规模的不断扩大，互联网不仅是传统媒体和生活方式的补充，也是民意凸显的地带。领导干部参与网络问政的制度化正在成为一种发展趋势，这种趋势与互联网发展的时......
  • R语言Lasso回归模型变量选择和糖尿病发展预测模型|附代码数据
    全文链接：http://tecdat.cn/?p=22721最近我们被客户要求撰写关于Lasso回归的研究报告，包括一些图形和统计输出。LeaseAbsoluteShrinkageandSelectionOperator（LASSO）在给定的模型上执行正则化和变量选择 （ 点击文末“阅读原文”获取完整代码数据******** ）。根据惩罚项的大小......
  • 【视频】R语言机器学习高维数据应用：Lasso回归和交叉验证预测房屋市场租金价格
    全文链接：http://tecdat.cn/?p=32646原文出处：拓端数据部落公众号分析师：JunjunLi在这篇文章中，我们将着重探讨高维数据下的机器学习应用，以房屋市场租金价格预测为例。在实际生活中，房屋租金作为一个重要的经济指标，被广泛应用于城市规划、财务投资等方面的决策中。然而，如何准确地预......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99