首页 > 其他分享 >L1和L2正则化的基本思想

L1和L2正则化的基本思想

时间:2022-09-06 09:34:09浏览次数:95  
标签:权重 Figure L1 正则 L2 拟合

L1和L2正则化的基本思想

在进入正则化概念之前。仔细查看图 1,我们知道欠拟合或过拟合对我们的模型不利。因此,保持理想平衡的一种方法是减小维度。

Figure 1

什么是正则化?

  • 这是一种解决机器学习中过度拟合的方法
  • 过拟合模型无法泛化对测试数据的估计
  • 正则化降低了模型的方差

我们通过消除不重要的特征来减少维度。每个特征都有一个权重。我们给这些特征的权重一个很小的数字或将其视为零。有两种技术可以实现这一点,即 L1 和 L2。

套索回归 (L1)

它将防止权重变得太大。较大的权重意味着更多的复杂性并导致过度拟合。没有必要更多的权重意味着对特征更重要。 L1 在权重中引入了稀疏性。它将迫使不太重要的特征的权重为零,从而降低所有权重的平均大小。同样,在 L2 中,它强制权重要小得多。

Figure 2

其中 Lambda 是一个超参数。

我们怎样才能使权重为零?

这里损失或成本函数出现了。损失函数应该始终是必须优化的最小值。

Figure 3

  • 如果 lambda 值太高——欠拟合
  • 如果 lambda 值低——过拟合

岭回归 (L2)

Figure 4

这个 L2 还可以防止权重变得太大。它通过将权重转换为较小的数字来实现。并非所有功能都已更改。

Figure 5

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明

本文链接:https://www.qanswer.top/18548/22460609

标签:权重,Figure,L1,正则,L2,拟合
From: https://www.cnblogs.com/amboke/p/16660613.html

相关文章

  • 常用正则
    constcheckStr=function(str,type){//常用正则验证,注意type大小写switch(type){case'phone'://手机号码return/^1[3|4|5|6|7|8|9][0-9]{9}$/.test(str)ca......
  • vue项目里地图组件截图快照的实现方法---html2Canvas
    一、前言最近项目里要求要把当前地图截图展示在小窗里,之前没接触这种请求,于是我就百度了一下,发现有这么一块插件html2Canvas,它能够将dom元素转换成canvas进行截图保存,而......
  • 玩转正则表达式
    玩转正则表达式本文中介绍的是主要是 3 个知识点:正则表达式的相关知识Python的中 re 模块,主要是用来处理正则表达式一个利用 re 模块通过正则表达式来进行网页......
  • Shell第四章《正则表达式》
    一、前言1.1、名词解释正则表达式(regularexpression,RE)是一种字符模式,用于在查找过程中匹配指定的字符。在大多数程序里,正则表达式都被置于两个正斜杠之间;例如/l[oO]ve......
  • HC32L110(五) Ubuntu20.04 VSCode的Debug环境配置
    目录HC32L110(一)HC32L110芯片介绍和Win10下的烧录HC32L110(二)HC32L110在Ubuntu下的烧录HC32L110(三)HC32L110的GCC工具链和VSCode开发环境HC32L110(四)HC32L110......
  • 正则
    \d匹配数字\D\D如果开启了re.ASCII,只匹配[^0-9]\w匹配word(数字......
  • PHP中nl2br函数,那有没有它的反函数br2nl?
    文章来源:https://www.yerenwz.com/6565.html是的,感觉正常人的第一反应是既然有nl2br函数,那必然有反函数br2nl,然后实际上野人告诉你是没有的,哈哈哈。所以就得自己实现,实......
  • 正则表达式
     1、正则表达式构造摘要(1)字符类[abc]:a、b或c(简单类)[^abc]:任何字符,除了a、b或c(否定)[a-zA-Z]:a到z或A到Z,两头的字母包括在内(范围)(2)预定义字符类.:任何字符(与......
  • HC32L110(四) HC32L110的startup启动文件和ld连接脚本
    目录HC32L110(一)HC32L110芯片介绍和Win10下的烧录HC32L110(二)HC32L110在Ubuntu下的烧录HC32L110(三)HC32L110的GCC工具链和VSCode开发环境HC32L110(四)HC32L110......
  • JAVA进阶--常用时间API、包装类、正则表达式、Array类、Lambda表达式、常见算法--202
    第一节 Date日期对象1、日期对象如何创建,如何获取时间毫秒值Datedate=newDate();Longtime=date.getTime();2、时间毫秒值怎么恢复成......