一、什么是正则化

　　英文 Ragularization

　　使模型普通化、均匀化、一般化，防止或减小 模型的过拟合。

二、正则化项（惩罚项）

　　英文 Ragularizer（Penalty）

　　经验风险 -- 经验指模型的预测值和数据真实值的相近程度

　　结构风险 -- 结构指模型，当数据量偏小时，复杂结构的模型存在过拟合风险

三、具体内容

　　正则化项可以是模型参数的范数，这里只介绍一范数的L1 和二范数的L2。

　　1、L1 -- Lasso

　　　　一范数L1，实际就是模型参数的绝对值，然后求和：

　　　　　　$$\sum_{i} | w_i|  $$

　　　　其中 $ w_i $ 是模型的参数。

　　　　以2 维为例，模型参数为$ w_1 $，$ w_2 $。