过拟合是机器学习中一个常见的问题，它发生在模型在训练数据上表现得很好，但在未见过的测试数据上表现不佳时。
这通常是因为模型过于复杂，捕捉到了训练数据中的噪声和细节，而没有学习到数据的一般模式。
过拟合的定义
过拟合是指模型在训练数据上能够获得比其他假设更好的拟合，但在训练数据外的数据集上却不能很好地拟合数据的现象。这通常发生在模型复杂度过高时，模型可能具有过多的参数，以至于可以记住训练数据的每一个细节，包括噪声和异常值。
过拟合的原因
过拟合的主要原因包括：
- 模型复杂度过高：模型参数过多，容易导致模型过度拟合训练数据中的噪声。
- 训练数据量较小：数据量不足以支持复杂数学公式，容易导致模型过拟合。
- 数据噪声较大：模型可能学习到数据中的噪声，而非真实的数据分布。
如何识别过拟合
过拟合可以通过观察模型在训练集和验证集（或测试集）上的性能差异来识别。如果模型在训练集上表现很好，但在验证集上表现较差，可能就存在过拟合问题。此外，训练误差和测试误差之间的差距很大也是一个明显的标志。
解决过拟合的方法
解决过拟合的方法包括但不限于：
- 增加训练数据量：通过增加训练数据量，可以减小模型对噪声的敏感度，提升模型的泛化能力。
- 降低模型复杂度：选择更简单的模型，减少模型参数的数量，避免模型过度拟合训练数据。
- 使用正则化方法：通过L1正则化、L2正则化等方法，限制模型参数的大小，防止模型过拟合。
xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx - 早停法（Early Stopping）：在训练过程中，当验证集的损失不再显著下降时，提前停止训练，避免模型过拟合。
- 数据增强：通过对训练数据进行旋转、翻转、缩放等操作，增加数据的多样性，提升模型的泛化能力。
这句话的意思是，在机器学习中，正则化是一种技术，它的作用是减少模型复杂度，防止过拟合。具体来说，正则化通过在损失函数中添加一个额外的项（通常是参数值的平方和），来惩罚那些参数值过大的模型。这样做的结果是，学习算法在训练过程中会倾向于选择较小的参数值，从而使得模型更加简洁，泛化能力更强。简而言之，正则化鼓励学习算法在训练时让参数值保持在一个较小的范围内，以提高模型的泛化性能。
正则化的实现：正则化所有特征（因为不知道哪个特征更重要）
引入正则化参数：λ/2m（λ>0）
若λ=0则过拟合，曲线过于弯曲；λ=∞则f（x）=b，呈现一条直线了
PS. 一些工程师也会对b也正则化,但是没什么区别。
正则化之后，代价函数J变为：
代价函数构成：
-
方差均值项：用于拟合数据
-
正则化项：用于减小wj以免过拟合
**λ的选择：过小则导致过拟合，过大则导致模型不准确均方误差成本： 正则化项：
正则化线性回归：
还是和之前一样，代价函数J分别对w和b进行求导：
正则化实际是在每一次迭代中所作的是把w乘一个略小于一（eg：0.9998）的数，这会使Wj的价值略微缩水
正则化logistic回归：
也是类似的：
