嵌入式特征选择(Embedded Feature Selection)是一种在模型训练过程中自动选择重要特征的方法。相比前向逐步选择或随机抽样等独立的特征选择步骤,嵌入式特征选择能直接在模型构建中融入特征选择逻辑。其中,**L1 正则化(Lasso)**是一种典型的嵌入式特征选择方法。
什么是 L1 正则化
在 L1 正则化中,模型的损失函数会增加一个正则化项,表示为所有特征系数绝对值之和的乘积。假设我们有一个线性模型:
损失函数=模型误差+λ∑∣wi∣\text{损失函数} = \text{模型误差} + \lambda \sum |w_i|损失函数=模型误差+λ∑∣wi∣
其中:
- 模型误差\text{模型误差}模型误差:模型的主要误差(如均方误差 MSE)。
- wiw_iwi:每个特征的系数。
- λ\lambdaλ:正则化强度的调节参数,控制正则化的影响大小。
L1 正则化的独特之处在于,增大 λ\lambdaλ 的值会导致模型中的一些特征系数 wiw_iwi 缩小到 0,从而实现自动特征选择。这是因为 L1 正则化惩罚了所有非零系数的特征,而更倾向于选择少数重要特征,从而自动稀疏化模型。
为什么 L1 正则化可以实现特征选择
L1 正则化的主要特点在于它的 “稀疏化” 效果。这一效果源于:
- 在优化过程中,L1 正则化会对特征的权重施加绝对值的惩罚,使得一些特征的系数逐渐减小,最终达到 0。
- 如果某个特征的系数为 0,说明模型认为这个特征对预测结果贡献不大,可以舍弃该特征。
- 这样,L1 正则化不仅可以减少模型的复杂度,还可以防止过拟合,因为它去掉了不重要的特征,专注于影响较大的变量。
L1 正则化与 LASSO 回归
LASSO(Least Absolute Shrinkage and Selection Operator,最小绝对收缩和选择算子)是应用 L1 正则化的线性回归方法。其损失函数为:
LASSO 损失=12N∑i=1N(yi−Xiw)2+λ∑j=1p∣wj∣\text{LASSO 损失} = \frac{1}{2N} \sum_{i=1}^{N} (y_i - X_i w)^2 + \lambda \sum_{j=1}^{p} |w_j|LASSO 损失=2N1i=1∑N(yi−Xiw)2+λj=1∑p∣wj∣
其中:
- NNN 是样本数量,yiy_iyi 是目标值,XiX_iXi 是特征矩阵。
- ∑j=1p∣wj∣\sum_{j=1}^{p} |w_j|∑j=1p∣wj∣ 是 L1 正则化项。
通过调节 λ\lambdaλ,LASSO 能选择不同数量的特征,当 λ\lambdaλ 较大时,模型变得更稀疏,最终可能只保留少数关键特征。
使用 L1 正则化的实际步骤
- 选择带有 L1 正则化的模型:例如,LASSO 回归、L1 正则化的逻辑回归或决策树模型。
- 设置正则化强度 λ\lambdaλ:在训练时可以通过交叉验证调整该参数,以找到合适的特征数量。
- 模型训练:通过带有 L1 正则化的模型训练,使得不重要的特征系数收缩到 0。
- 提取重要特征:查看哪些特征的系数不为 0,它们即为 L1 正则化认为的重要特征。
总结
- L1 正则化通过稀疏化特征系数,自动选择重要特征。
- 它可以嵌入到模型中,直接在训练过程中实现特征选择,简化了后续的特征工程。
- 使用 L1 正则化的模型如 LASSO 回归,是一种快速、有效的嵌入式特征选择方法。