拓端数据tecdat|R语言自适应LASSO 多项式回归、二元逻辑回归和岭回归应用分析

正则化(regularization)

正则化路径是在正则化参数lambda的值网格上计算套索LASSO或弹性网路惩罚的正则化路径。该算法速度快，可以利用输入矩阵x中的稀疏性，拟合线性、logistic和多项式、poisson和Cox回归模型。可以通过拟合模型进行各种预测。它还可以拟合多元线性回归。”

例子

加载数据

这里加载了一个高斯(连续Y)的例子。

as_data_frame(y)

1.  ## # A tibble: 100 x 1
2.  ## V1
3.  ## <dbl>
4.  ## 1 -1.2748860
5.  ## 2 1.8434251
6.  ## 3 0.4592363
7.  ## 4 0.5640407
8.  ## 5 1.8729633
9.  ## 6 0.5275317
10.  ## 7 2.4346589
11.  ## 8 -0.8945961
12.  ## 9 -0.2059384
13.  ## 10 3.1101188
14.  ## # ... with 90 more rows

初始岭回归

​​cv.glmnet​​执行k-折交叉验证 .

1.  ## 执行岭回归
2.  glmnet(x , y
3.  ## “alpha=1”是套索惩罚, “alpha=0”是岭惩罚。
4.  alpha = 0)

1.  ## 用10折CV进行岭回归
2.  cv.glmnet(
3.  ## 类型.测量：用于交叉验证的丢失。
4.  type.measure = "mse",
5.  ## K = 10 是默认值。
6.  nfold = 10,
7.  ##“alpha=1”是套索惩罚，“alpha=0”是岭惩罚。
8.  alpha = 0)
9.  ## 惩罚vs CV MSE图

1.  ## 在误差最小λ处提取系数
2.  cv$lambda.min

## [1] 0.1789759

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  coef( s = lambda.min)
3.  ## 21 x 1 sparse Matrix of class "dgCMatrix"
4.  ## 1
5.  ## (Intercept) 0.149041059
6.  ## V1 1.302684272
7.  ## V2 0.035835380
8.  ## V3 0.719936146
9.  ## V4 0.036473087
10.  ## V5 -0.863490158
11.  ## V6 0.605750873
12.  ## V7 0.123446432
13.  ## V8 0.376890626
14.  ## V9 -0.040012847
15.  ## V10 0.105999328
16.  ## V11 0.240967604
17.  ## V12 -0.066363634
18.  ## V13 -0.042048935
19.  ## V14 -1.092107794
20.  ## V15 -0.119566353
21.  ## V16 -0.035859663
22.  ## V17 -0.038827463
23.  ## V18 0.061785988
24.  ## V19 -0.001409608
25.  ## V20 -1.079879797
26.  ## 截距估计应该剔除。
27.  (coef(cv, s = lambda.min))[-1]

这个初始过程给出了基于10折交叉验证选择的最佳岭回归模型的一组系数，使用平方误差度量

作为模型性能度量。

KNNL和Hadi中提到的另一种选择lambda的方法是选择最小的lambda，这样系数的轨迹是稳定的，VIF变得足够小。在这种情况下，VIF的定义必须包括惩罚因子lambda，这在Hadi的p295和knll的p436中有说明。

是标准化的协变量矩阵. 

是原始非标准化协变量的相关矩阵 . 该计算可定义如下。

1.   vif <- function(x, lambda) {
2.   ZtZ <- cor(x)
3.   diag(solve(ZtZ + lambdaI %*% ZtZ %*% solve(ZtZ + lambdaI)
4.   
5.  ##
6.   
7.   ggplot(mapping = aes(x = lambda, y = value, group = key, color = key)) +
8.   geom_line() +
9.   
10.   

自适应LASSO

1.  ## 执行自适应LASSO
2.  glmnet(x = y =
3.   ## 类型。度量:用于交叉验证的损失。
4.   ##“alpha=1”是套索惩罚，“alpha=0”是岭惩罚。
5.   alpha = 1,
6.   ##
7.   ## 惩罚系数：可以对每个系数应用单独的惩罚因子。这是一个乘以“lambda”以允许差异收缩的数字。对于某些变量可以是0， 这意味着没有收缩，而且这个变量总是包含在模型中。对于所有变量，默认值为1（对于“exclude”中列出的变量，默认值为无限大）。注意：惩罚因子在内部被重新调整为与nvars相加，lambda序列将反映这种变化。

1.  ## 使用10折CV执行自适应套索
2.   
3.   ## 类型。度量:用于交叉验证的损失。
4.  类型。测量= " mse ",
5.   ## K = 10 是默认值。
6.   nfold = 10,
7.   ## ‘alpha = 1’ 是套索惩罚，'alpha=0'是岭惩罚。
8.   ##
9.   ## 惩罚系数：可以对每个系数应用单独的惩罚因子。这是一个乘以“lambda”以允许差异收缩的数字。对于某些变量可以为0，这意味着没有收缩，并且该变量始终包含在模型中。对于所有变量，默认值为1（对于“exclude”中列出的变量，默认值为无限大）。注意：惩罚因子在内部被重新调整为与nvars相加，lambda序列将反映这种变化。
10.  ## 惩罚vs CV MSE图
11.   

1.  ## 在误差最小λ处提取系数
2.  lambda.min

## [1] 0.7193664

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  best_alasso_coef1
3.  ## 21 x 1 sparse Matrix of class "dgCMatrix"
4.  ## 1
5.  ## (Intercept) 0.1269539
6.  ## V1 1.3863728
7.  ## V2 .
8.  ## V3 0.7573538
9.  ## V4 .
10.  ## V5 -0.8937983
11.  ## V6 0.5718800
12.  ## V7 .
13.  ## V8 0.3654255
14.  ## V9 .
15.  ## V10 .
16.  ## V11 0.1824140
17.  ## V12 .
18.  ## V13 .
19.  ## V14 -1.1150736
20.  ## V15 .
21.  ## V16 .
22.  ## V17 .
23.  ## V18 .
24.  ## V19 .
25.  ## V20 -1.1268794

那个惩罚系数参数允许指定系数特定的惩罚级别。这里我们使用自适应LASSO惩罚，即最佳岭系数绝对值的逆。

最终模型Rsquare

1.  ## R^2函数
2.  ## https://en.wikipedia.org/wiki/Coefficient_of_determination
3.  ## 总SS
4.  ss_tot <- sum((y - ybar)^2)
5.  ## 剩余 SS
6.  ss_res <- sum((y - yhat)^2)
7.  ## R^2 = 1 - ss_res/ ss_tot
8.   
9.  ## 调整R^2函数
10.  ## n个样本，p个参数
11.   
12.  ## 获取 R^2
13.  r_sq(as.vector(y_cont), as.vector(predict(alasso1, newx =

## [1] 0.906806

1.  ##获得调整R ^ 2
2.  adj_r_sq(r_squared_alasso1, n = nrow(y_cont),

## [1] 0.9007934

1.  ## 交叉验证测试集R^2
2.  ## alasso1_cv$cvm[1] 是截距模型的交叉验证测试集均方误差。
3.  1 - cvm[lambda == lambda.min] / cvm[1]

## [1] 0.8854662

交叉验证测试集Rsquare

1.  lapply(unique( foldid), function(id) {
2.  ## 拟合排除测试集 (foldid == id)
3.  glmnet(x = x_cont[alasso1_cv$foldid != id,],
4.  y = y_cont[alasso1_cv$foldid != id],
5.  ## 使用模型拟合最佳lambda测试集Yïhat
6.  predict(fit, newx = x_cont[alasso1_cv$foldid == id,],
7.  ## 测试组 R^2
8.  1 - sum((y - y_pred)^2) / sum((y - mean(y))^2)
9.  }) %>%
10.  ## [1] 0.8197796 0.9090972 0.9499495 0.8019303 0.8637534 0.7184797 0.8579943 0.9250376 0.8300891
11.  ## [10] 0.9188004

## [1] 0.8594911

多项式例子

1.  ## # A tibble: 500 x 30
2.  ## V1 V2 V3 V4 V5 V6 V7 V8
3.  ## <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
4.  ## 1 0.8212500 1.2155090 -0.64860899 -0.7001262 -1.9640742 1.1692107 0.28598652 -0.1664266
5.  ## 2 0.9264925 -1.1855031 -1.18297879 0.9828354 1.0693610 -0.2302219 0.57772625 -0.8738714
6.  ## 3 -1.5719712 0.8568961 -0.02208733 1.7445962 -0.4148403 -2.0289054 -1.31228181 -1.2441528
7.  ## 4 0.7419447 -0.9452052 -1.61821790 1.0015587 -0.4589488 0.5154490 0.29189973 0.1114092
8.  ## 5 -0.1333660 0.5085678 0.04739909 -0.4486953 -0.2616950 -0.1554108 -1.24834832 -1.0498054
9.  ## 6 -0.5672062 0.6020396 -2.10300909 0.3119233 0.3272173 -0.8671885 0.97512759 -0.7216256
10.  ## 7 1.9683411 2.5162198 1.61109738 1.0047913 -0.5194647 1.0738680 -0.16176095 -0.4267418
11.  ## 8 0.2857727 -1.7017703 1.41062569 -0.5823727 -1.3330908 1.7929250 0.06396841 -0.6818909
12.  ## 9 -0.5339434 0.1725089 0.93504676 -1.9956942 -0.9021089 -0.2624043 0.97406411 0.5166823
13.  ## 10 0.8081052 -0.9662501 0.54666915 -0.8388913 0.9665053 1.4039598 0.63502500 0.3429640
14.  ## # ... with 490 more rows, and 22 more variables: V9 <dbl>, V10 <dbl>, V11 <dbl>, V12 <dbl>,
15.  ## # V13 <dbl>, V14 <dbl>, V15 <dbl>, V16 <dbl>, V17 <dbl>, V18 <dbl>, V19 <dbl>, V20 <dbl>,
16.  ## # V21 <dbl>, V22 <dbl>, V23 <dbl>, V24 <dbl>, V25 <dbl>, V26 <dbl>, V27 <dbl>, V28 <dbl>,
17.  ## # V29 <dbl>, V30 <dbl>

as_data_frame(y)

1.  ## # A tibble: 500 x 1
2.  ## value
3.  ## <dbl>
4.  ## 1 3
5.  ## 2 2
6.  ## 3 2
7.  ## 4 2
8.  ## 5 3
9.  ## 6 3
10.  ## 7 3
11.  ## 8 1
12.  ## 9 1
13.  ## 10 1
14.  ## # ... with 490 more rows
15.   
16.  plot(ridge2, xvar = "lambda")

1.  ## 用10折交叉验证CV进行岭回归
2.  ## 类型.测量：用于交叉验证的损失。
3.  类型.测量=“偏差”，
4.   
5.  ## 多项式回归
6.  ## ‘alpha = 1’ 是套索惩罚，'alpha=0'是岭惩罚。
7.  ## 惩罚vs CV MSE图
8.  plot(ridge2_cv)

1.  ## 在误差最小λ处提取系数
2.  lambda.min

## [1] 0.02540802

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  do.call(cbind, coef( cv, s = lambda.min))
3.  ## 31 x 3 sparse Matrix of class "dgCMatrix"
4.  ## 1 1 1
5.  ## (Intercept) -0.030926870 -0.012579891 0.043506761
6.  ## V1 0.056754184 -0.332936704 0.276182520
7.  ## V2 -0.330771038 -0.135465951 0.466236989
8.  ## V3 0.417313228 -0.166953973 -0.250359256
9.  ## V4 -0.275107590 -0.075937714 0.351045304
10.  ## V5 -0.359310997 0.447318724 -0.088007727
11.  ## V6 0.318490592 -0.042273343 -0.276217249
12.  ## V7 -0.069203544 0.103874053 -0.034670509
13.  ## V8 0.398432356 0.056457793 -0.454890149
14.  ## V9 -0.100873703 -0.831473315 0.932347018
15.  ## V10 -0.079409535 0.550465763 -0.471056227
16.  ## V11 0.015539259 0.022872091 -0.038411350
17.  ## V12 -0.023384035 -0.037367749 0.060751784
18.  ## V13 -0.162456798 0.271096200 -0.108639401
19.  ## V14 0.173128811 -0.127758267 -0.045370544
20.  ## V15 -0.029448593 0.035626357 -0.006177764
21.  ## V16 -0.078135662 0.066353666 0.011781996
22.  ## V17 0.144753874 -0.137960413 -0.006793461
23.  ## V18 0.032929352 0.071275386 -0.104204738
24.  ## V19 0.090783173 -0.147044947 0.056261774
25.  ## V20 -0.010749594 0.146821172 -0.136071578
26.  ## V21 0.059468598 -0.008259112 -0.051209485
27.  ## V22 0.133514075 -0.030352819 -0.103161256
28.  ## V23 0.070174614 -0.054781769 -0.015392844
29.  ## V24 0.027344225 0.164797661 -0.192141886
30.  ## V25 0.010677968 0.014023080 -0.024701049
31.  ## V26 0.010490474 -0.034644559 0.024154085
32.  ## V27 -0.008201249 0.114562955 -0.106361705
33.  ## V28 -0.115249536 -0.067581191 0.182830727
34.  ## V29 0.027760120 0.056857406 -0.084617526
35.  ## V30 -0.062642211 -0.007339614 0.069981825
36.  ## 转换为矩阵
37.  ## 截距估计应该取消。
38.  1 / abs(as.matrix(best_ridge_coef2)[-1,])
39.  ## 1 1 1
40.  ## V1 17.619846 3.003574 3.620794
41.  ## V2 3.023239 7.381929 2.144832
42.  ## V3 2.396282 5.989675 3.994260
43.  ## V4 3.634942 13.168687 2.848635
44.  ## V5 2.783104 2.235542 11.362639
45.  ## V6 3.139810 23.655569 3.620339
46.  ## V7 14.450127 9.627043 28.842957
47.  ## V8 2.509836 17.712347 2.198333
48.  ## V9 9.913386 1.202684 1.072562
49.  ## V10 12.592946 1.816643 2.122889
50.  ## V11 64.353133 43.721407 26.033972
51.  ## V12 42.764219 26.761045 16.460422
52.  ## V13 6.155483 3.688727 9.204764
53.  ## V14 5.776046 7.827282 22.040732
54.  ## V15 33.957479 28.069106 161.870875
55.  ## V16 12.798253 15.070757 84.875262
56.  ## V17 6.908278 7.248456 147.200381
57.  ## V18 30.368044 14.030089 9.596493
58.  ## V19 11.015257 6.800642 17.774057
59.  ## V20 93.026766 6.811007 7.349073
60.  ## V21 16.815597 121.078385 19.527632
61.  ## V22 7.489847 32.945869 9.693562
62.  ## V23 14.250167 18.254248 64.965251
63.  ## V24 36.570794 6.068047 5.204487
64.  ## V25 93.650773 71.311008 40.484111
65.  ## V26 95.324582 28.864561 41.400864
66.  ## V27 121.932644 8.728825 9.401880
67.  ## V28 8.676825 14.797016 5.469540
68.  ## V29 36.022899 17.587858 11.817883
69.  ## V30 15.963677 136.246945 14.289424
70.  ## 执行自适应套索
71.  ## 多项式回归
72.  family = "multinomial",
73.  ## ‘alpha = 1’ 是套索惩罚，'alpha=0'是岭惩罚。
74.  alpha = 1,
75.  ##
76.  ## 惩罚系数：可以对每个系数应用单独的惩罚因子。这是一个乘以“lambda”以允许差异收缩的数字。对于某些变量可以为0，这意味着没有收缩，并且该变量始终包含在模型中。对于所有变量，默认值为1（对于“exclude”中列出的变量，默认值为无限大）。注意：惩罚因子在内部被重新调整为与nvars相加，lambda序列将反映这种变化。

1.  ## 使用10折CV执行自适应套索
2.  ## 类型。度量:用于交叉验证的损失。
3.  type.measure = "偏差",
4.   
5.  ## 惩罚vs CV MSE图
6.  plot(alasso2_cv)

1.  ## 在误差最小λ处提取系数
2.  lambda.min

## [1] 0.023834

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  do.call(cbind, coef(alasso2_cv, s = lambda.min))
3.  ## 31 x 3 sparse Matrix of class "dgCMatrix"
4.  ## 1 1 1
5.  ## (Intercept) 0.001070916 0.029687114 -0.030758030
6.  ## V1 0.051853991 -0.329785101 0.277931110
7.  ## V2 -0.414609162 -0.166765504 0.581374666
8.  ## V3 0.498638681 -0.172468859 -0.326169822
9.  ## V4 -0.336005338 -0.079578260 0.415583598
10.  ## V5 -0.424216967 0.532071434 -0.107854467
11.  ## V6 0.364828074 -0.035326316 -0.329501758
12.  ## V7 -0.058746523 0.080343071 -0.021596548
13.  ## V8 0.483592031 0.111422669 -0.595014699
14.  ## V9 -0.155745580 -1.016502806 1.172248386
15.  ## V10 -0.060698812 0.625050169 -0.564351357
16.  ## V11 . . .
17.  ## V12 . . .
18.  ## V13 -0.175719655 0.283930678 -0.108211023
19.  ## V14 0.196421536 -0.139576235 -0.056845300
20.  ## V15 . . .
21.  ## V16 -0.037414770 0.040300172 -0.002885402
22.  ## V17 0.149438019 -0.129742710 -0.019695308
23.  ## V18 . . .
24.  ## V19 0.088822086 -0.130605368 0.041783282
25.  ## V20 . . .
26.  ## V21 0.007141749 -0.002869644 -0.004272105
27.  ## V22 0.125997952 -0.016924514 -0.109073438
28.  ## V23 0.043024971 -0.026879150 -0.016145821
29.  ## V24 0.016862193 0.083686360 -0.100548554
30.  ## V25 . . .
31.  ## V26 . . .
32.  ## V27 . . .
33.  ## V28 -0.111429811 -0.069842376 0.181272187
34.  ## V29 . . .
35.  ## V30 -0.032032333 -0.006590025 0.038622358

最终模型正确分类率

xtabs(~ y_multi_pred_class + y_multi)

1.  ## y_multi
2.  ## y_multi_pred_class 1 2 3
3.  ## 1 84 20 16
4.  ## 2 30 136 19
5.  ## 3 28 18 149

mean(y_multi == y_multi_pred_class)

## [1] 0.738

交叉验证测试集正确分类率

1.  lapply(unique(foldid), function(id) {
2.  ## 拟合排除测试集（foldid==id）
3.   
4.  ## 使用模型拟合最佳lambda测试集Yïhat
5.  y_pred <- (predict(fit, newx = x_multi[foldid == id,], type = "class",
6.  s = lambda.min))
7.  ## 测试集Y
8.  y <- y_multi[foldid == id]
9.  ## 测试集CCR
10.  mean(y == y_pred)
11.  }) %>%

##  [1] 0.68 0.64 0.76 0.72 0.70 0.66 0.60 0.72 0.62 0.76

## [1] 0.686

二元逻辑回归示例

1.  ## # A tibble: 100 x 30
2.  ## V1 V2 V3 V4 V5 V6 V7 V8
3.  ## <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl> <dbl>
4.  ## 1 -0.61926135 0.01624409 -0.62606831 0.41268461 0.4944374 -0.4493269 0.6760053 -0.06771419
5.  ## 2 1.09427278 0.47257285 -1.33714704 -0.64058126 0.2823199 -0.6093321 0.3547232 -0.62686515
6.  ## 3 -0.35670402 0.30121334 0.19056192 0.23402677 0.1698086 1.2291427 1.1628095 0.88024242
7.  ## 4 -2.46907012 2.84771447 1.66024352 1.56881297 -0.8330570 -0.5620088 -0.6142455 -1.76529838
8.  ## 5 0.56728852 0.88888747 -0.01158671 0.57627526 -0.8689453 -0.3132571 0.6902907 -1.29961200
9.  ## 6 0.91292543 0.77350086 0.55836355 -0.53509922 0.3507093 -0.5763021 -0.3882672 0.55518663
10.  ## 7 0.09567305 0.14027229 -0.76043921 -0.04935541 1.5740992 -0.1240903 -1.1106276 1.72895452
11.  ## 8 1.93420667 -0.71114983 -0.27387147 1.00113828 1.0439012 0.8028893 -0.6035769 -0.51136380
12.  ## 9 0.28275701 1.05940570 -0.03944966 0.30277367 -0.9161762 0.6914934 0.6087553 0.30921594
13.  ## 10 0.80143492 1.53674274 -1.01230763 -0.38480878 -2.0319100 0.2236314 -1.1628847 -0.52739792
14.  ## # ... with 90 more rows, and 22 more variables: V9 <dbl>, V10 <dbl>, V11 <dbl>, V12 <dbl>,
15.  ## # V13 <dbl>, V14 <dbl>, V15 <dbl>, V16 <dbl>, V17 <dbl>, V18 <dbl>, V19 <dbl>, V20 <dbl>,
16.  ## # V21 <dbl>, V22 <dbl>, V23 <dbl>, V24 <dbl>, V25 <dbl>, V26 <dbl>, V27 <dbl>, V28 <dbl>,
17.  ## # V29 <dbl>, V30 <dbl>

as_data_frame(y)

1.  ## # A tibble: 100 x 1
2.  ## value
3.  ## <int>
4.  ## 1 0
5.  ## 2 1
6.  ## 3 1
7.  ## 4 0
8.  ## 5 1
9.  ## 6 0
10.  ## 7 0
11.  ## 8 0
12.  ## 9 1
13.  ## 10 1
14.  ## # ... with 90 more rows
15.   
16.  ## 执行岭回归
17.  ## 二元逻辑回归
18.  family = "binomial",
19.  ## “alpha=1”是套索惩罚，“alpha=0”是岭惩罚。

1.  ##用10折CV进行岭回归
2.  ##类型。度量:用于交叉验证的损失。
3.  type.measure = "deviance",
4.  ## K = 10 是默认值。
5.  nfold = 10,
6.  ## 多项式回归
7.  ## ‘alpha = 1’ 是套索惩罚，'alpha=0'是岭惩罚。
8.  alpha = 0)
9.  ## 惩罚vs CV MSE图

## 在误差最小λ处lambda.min

## [1] 0.03488898

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  coef(ridge3_cv, s = lambda.min))
3.  ## 31 x 1 sparse Matrix of class "dgCMatrix"
4.  ## 1
5.  ## (Intercept) 0.1718290283
6.  ## V1 0.1148574142
7.  ## V2 0.5068431000
8.  ## V3 -0.3384649794
9.  ## V4 -0.8634050979
10.  ## V5 -0.3141436782
11.  ## V6 -0.6956355852
12.  ## V7 0.0798900376
13.  ## V8 -0.5167458568
14.  ## V9 0.5193890584
15.  ## V10 -1.0182682093
16.  ## V11 -0.2077506627
17.  ## V12 -0.2218540968
18.  ## V13 -0.1638673635
19.  ## V14 0.1370473811
20.  ## V15 0.0388320169
21.  ## V16 0.3621440665
22.  ## V17 -0.1226309533
23.  ## V18 -0.1492504287
24.  ## V19 -0.0497939458
25.  ## V20 -0.2024006258
26.  ## V21 0.0006531455
27.  ## V22 0.2456970018
28.  ## V23 0.4333057414
29.  ## V24 -0.1769632495
30.  ## V25 0.5320062623
31.  ## V26 -0.3875044960
32.  ## V27 -0.2157079430
33.  ## V28 0.3337625633
34.  ## V29 -0.2659968175
35.  ## V30 0.1601149964
36.  ## 截距估计应该取消。
37.  (best_ridge_coef3)[-1]
38.  ##执行自适应套索
39.   
40.  ## 多项式回归
41.  family = "binomial",
42.  ## “alpha=1”是套索惩罚，“alpha=0”是岭惩罚。
43.  alpha = 1,

1.  ## 使用10折CV执行自适应套索
2.  ## 类型。度量:用于交叉验证的损失。
3.   
4.  ##惩罚vs CV MSE图
5.  plot(alasso3_cv)

1.  ## 在误差最小λ处提取系数
2.  lambda.min

## [1] 0.5438827

1.  ## s：需要进行预测的惩罚参数“lambda”的值。默认值是用于创建模型的整个序列。
2.  coef(cv, s = lambda.min)
3.  ## 31 x 1 sparse Matrix of class "dgCMatrix"
4.  ## 1
5.  ## (Intercept) 0.19932789
6.  ## V1 .
7.  ## V2 0.69081709
8.  ## V3 -0.48062268
9.  ## V4 -1.21628612
10.  ## V5 .
11.  ## V6 -1.01918155
12.  ## V7 .
13.  ## V8 -0.48394892
14.  ## V9 0.79804285
15.  ## V10 -1.49657785
16.  ## V11 .
17.  ## V12 .
18.  ## V13 .
19.  ## V14 .
20.  ## V15 .
21.  ## V16 0.19759191
22.  ## V17 .
23.  ## V18 .
24.  ## V19 .
25.  ## V20 .
26.  ## V21 .
27.  ## V22 0.04668665
28.  ## V23 0.24445410
29.  ## V24 .
30.  ## V25 0.57951934
31.  ## V26 -0.21844124
32.  ## V27 .
33.  ## V28 0.07144777
34.  ## V29 -0.04682770
35.  ## V30 .

1.  ## 提取预测概率和观察结果。
2.  pY <- as.(predict(alasso3, newx = x_bin, s = lambda.min, type = "response"))
3.  ##
4.  ## 用AUC和阈值绘制ROC曲线
5.  plot(roc1)

交叉验证测试集AUC

1.  lapply(unique(foldid), function(id)
2.  ## 拟合排除测试集 (foldid == id)
3.   
4.  ## 使用模型拟合最佳lambda测试集Yïhat
5.  y_pred <- (predict(fit, newx = x_bin[foldid == id], s = lambda.min)
6.  ## 测试组 Y
7.  y <- y_bin[alasso3_cv$foldid == id]
8.  ## 测试组 AUC
9.  roc(y ~ y_pred)$auc
10.  ## [1] 1.0000000 1.0000000 1.0000000 0.9200000 1.0000000 1.0000000 0.7619048 0.7916667 0.7200000
11.  ## [10] 0.9375000

## [1] 0.9131071