首页 > 其他分享 >嵌入式特征选择

嵌入式特征选择

时间:2024-10-31 17:31:42浏览次数:3  
标签:特征选择 模型 嵌入式 特征 正则 L1 LASSO

嵌入式特征选择(Embedded Feature Selection)是一种在模型训练过程中自动选择重要特征的方法。相比前向逐步选择或随机抽样等独立的特征选择步骤,嵌入式特征选择能直接在模型构建中融入特征选择逻辑。其中,**L1 正则化(Lasso)**是一种典型的嵌入式特征选择方法。

什么是 L1 正则化

在 L1 正则化中,模型的损失函数会增加一个正则化项,表示为所有特征系数绝对值之和的乘积。假设我们有一个线性模型:

损失函数=模型误差+λ∑∣wi∣\text{损失函数} = \text{模型误差} + \lambda \sum |w_i|损失函数=模型误差+λ∑∣wi​∣

其中:

  • 模型误差\text{模型误差}模型误差:模型的主要误差(如均方误差 MSE)。
  • wiw_iwi​:每个特征的系数。
  • λ\lambdaλ:正则化强度的调节参数,控制正则化的影响大小。

L1 正则化的独特之处在于,增大 λ\lambdaλ 的值会导致模型中的一些特征系数 wiw_iwi​ 缩小到 0,从而实现自动特征选择。这是因为 L1 正则化惩罚了所有非零系数的特征,而更倾向于选择少数重要特征,从而自动稀疏化模型。

为什么 L1 正则化可以实现特征选择

L1 正则化的主要特点在于它的 “稀疏化” 效果。这一效果源于:

  • 在优化过程中,L1 正则化会对特征的权重施加绝对值的惩罚,使得一些特征的系数逐渐减小,最终达到 0。
  • 如果某个特征的系数为 0,说明模型认为这个特征对预测结果贡献不大,可以舍弃该特征。
  • 这样,L1 正则化不仅可以减少模型的复杂度,还可以防止过拟合,因为它去掉了不重要的特征,专注于影响较大的变量。

L1 正则化与 LASSO 回归

LASSO(Least Absolute Shrinkage and Selection Operator,最小绝对收缩和选择算子)是应用 L1 正则化的线性回归方法。其损失函数为:

LASSO 损失=12N∑i=1N(yi−Xiw)2+λ∑j=1p∣wj∣\text{LASSO 损失} = \frac{1}{2N} \sum_{i=1}^{N} (y_i - X_i w)^2 + \lambda \sum_{j=1}^{p} |w_j|LASSO 损失=2N1​i=1∑N​(yi​−Xi​w)2+λj=1∑p​∣wj​∣

其中:

  • NNN 是样本数量,yiy_iyi​ 是目标值,XiX_iXi​ 是特征矩阵。
  • ∑j=1p∣wj∣\sum_{j=1}^{p} |w_j|∑j=1p​∣wj​∣ 是 L1 正则化项。

通过调节 λ\lambdaλ,LASSO 能选择不同数量的特征,当 λ\lambdaλ 较大时,模型变得更稀疏,最终可能只保留少数关键特征。

使用 L1 正则化的实际步骤

  1. 选择带有 L1 正则化的模型:例如,LASSO 回归、L1 正则化的逻辑回归或决策树模型。
  2. 设置正则化强度 λ\lambdaλ:在训练时可以通过交叉验证调整该参数,以找到合适的特征数量。
  3. 模型训练:通过带有 L1 正则化的模型训练,使得不重要的特征系数收缩到 0。
  4. 提取重要特征:查看哪些特征的系数不为 0,它们即为 L1 正则化认为的重要特征。

总结

  • L1 正则化通过稀疏化特征系数,自动选择重要特征。
  • 它可以嵌入到模型中,直接在训练过程中实现特征选择,简化了后续的特征工程。
  • 使用 L1 正则化的模型如 LASSO 回归,是一种快速、有效的嵌入式特征选择方法。

标签:特征选择,模型,嵌入式,特征,正则,L1,LASSO
From: https://www.cnblogs.com/wzbzk/p/18518509

相关文章

  • 在特征选择中,如何有效结合业务理解和数据分析?
    关注我,持续分享逻辑思维&管理思维&面试题;可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导;推荐专栏《10天学会使用asp.net编程AI大模型》,目前已完成所有内容。一顿烧烤不到的费用,让人能紧跟时代的浪潮。从普通网站,到公众号、小程序,再到AI大模型网站。干货满满。学成后可......
  • 嵌入式Linux开发环境安装与配置(Vmware+Ubuntu)
    1、在PC机上安装虚拟机,推荐使用VMWare。(1)对VMWare进行常规安装,这里选用16.1.0的版本,安装过程若没有特殊要求均可采用默认值进行。(2)启动VMWare,其程序界面如下图所示。(3)点击其中的第一项“创建新的虚拟机”,创建一个新的虚拟机系统,在弹出的对话框中选择“典型(推荐)”的选......
  • 嵌入式软件在电子烟开发中的应用
    ✅作者简介:2022年博客新星第八。热爱国学的Java后端开发者,修心和技术同步精进。......
  • qt的c++环境配置和c++基础【正点原子】嵌入式Qt5 C++开发视频
    QTc++环境配置和c++基础c++环境配置和工程创建  1.配置步骤  2.新建qt工程目录和工程  3.重启qt后打开最近的qt项目c++基础-类和对象  1.什么是类和对象    A.类的定义    B.类的结构表示    C.类的访问权限    D.对象的定义    E.类和......
  • LVGL UI设计神器助你高效开发嵌入式UI应用——v0.15.0发布(中)
    文章目录前言一、Anyui是什么?二、v0.15.0版本的特性新版本检查总结前言随着物联网的到来,凯文・凯利所预言的“屏读”时代也已来临。除了手机、平板电脑这类类似个人电脑的设备之外,越来越多的嵌入式设备也将配备触控显示屏。在资源有限的嵌入式设备上构建一个出......
  • 嵌入式软件名企笔试真题文章汇总帖
    1、前言欢迎各位来到我的专栏,笔者为25届应届毕业生,投递岗位为嵌入式软件开发工程师相关岗位,在秋招过程中有意记录各大企业的真实笔试题目,现以博客形式记录,有意者可自行查看!2、约定笔者专栏中的每篇文章将采用统一的习惯/步骤,以方便读者查找,主要有以下几点需要注意:专栏中的......
  • 【嵌入式原理设计】实验一:软硬件环境搭建&数字端口应用
    目录一、实验目的 二、实验环境三、实验内容四、实验记录及处理五、实验小结六、成果文件提取链接一、实验目的         配置ESPArduino开发平台,熟悉实验的软硬件工作环境和基本的工作方式二、实验环境        Win10+ESP32实验开发板三、实......
  • 嵌入式学习-网络-Day01
    嵌入式学习-网络-Day011.网络发展史1.1局域网(LAN)1.2广域网(Wan)1.3家庭用网1.3.1光猫1.3.2交换机与路由器:2.IP地址2.1基本概念2.2二级划分(ipv4)2.3特殊地址2.4子网掩码2.5三级划分域名系统域名结构3.网络模型3.1网络的体系结构3.2OSI模型3.3TCP/IP模型3.4......
  • 基于全志T113-i多核异构处理器的全国产嵌入式核心板简介
    一、嵌入式核心板产品介绍基于全志公司的T113-i处理器精心设计的多核异构处理器、工业级ECK30-T13IA系列嵌入式核心板,采用邮票孔连接的低成本、低功耗、高性价比、高可靠性的全国产化工业级嵌入式核心板。ECK30系列核心板可广泛应用于工业控制、HMI、IoT等领域。全志公司的T113-......
  • 基于全志T113-i多核异构处理器的全国产嵌入式核心板简介
    一、嵌入式核心板产品介绍基于全志公司的T113-i处理器精心设计的多核异构处理器、工业级ECK30-T13IA系列嵌入式核心板,采用邮票孔连接的低成本、低功耗、高性价比、高可靠性的全国产化工业级嵌入式核心板。ECK30系列核心板可广泛应用于工业控制、HMI、IoT等领域。全志公司的T113-i处......