应对过拟合：权重衰减与均等范数约束条件

Outline

在神经网络中，常常出现过拟合问题。本文介绍了权重衰减以及其背后的原理（优化GBR上界），并在最后对其他应对过拟合的方式进行了讨论。

Introduction

在深度学习中，常常出现过拟合问题，导致模型的效能下降。

为了解决这个问题，这里提出了几种可能的方法，可以在不同场景中使用。

降低过拟合可以增加模型在测试集上的精确程度，提高模型准确率。

Methods

权重衰减（WD）

原理：

（1）从模型的复杂度上解释：更小的权值w，从某种意义上说，表示网络的复杂度更低，对数据的拟合更好（这个法则也叫做奥卡姆剃刀），而在实际应用中，也验证了这一点，L2正则化的效果往往好于未经正则化的效果。

（2）从数学方面的解释：过拟合的时候，拟合函数的系数往往非常大，为什么？如下图所示，过拟合，就是拟合函数需要顾忌每一个点，最终形成的拟合函数波动很大。在某些很小的区间里，函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值（绝对值）非常大，由于自变量值可大可小，所以只有系数足够大，才能保证导数值很大。而正则化是通过约束参数的范数使其不要太大，所以可以在一定程度上减少过拟合情况。

均等范数约束条件（ENC）

参考文献[1]证明了WD是GBR（泛化界正则项）在单层线性模型中的特殊情况。

Results

WD

设维度