在介绍正则化之前，先介绍几个概念：
1. 过拟合（Overfitting）
过拟合是指模型在训练集上表现得非常好，但在测试集上表现不佳。这通常是因为模型学习到了训练数据中的噪声和不必要的细节，导致模型在新数据上的泛化能力下降。
主要表现：
- 训练误差低，但测试误差高。
- 预测结果对训练数据的微小变化非常敏感。
解决过拟合的方法：
- 正则化：使用 L1、L2 正则化或 Dropout 降低模型复杂度。
- 增加数据量：使用数据增强或收集更多样本。
- 简化模型：减少模型的层数、神经元数或选择更简单的模型。
2. 欠拟合（Underfitting）
欠拟合是指模型在训练集和测试集上都表现不佳，无法很好地捕捉数据的模式或趋势。这通常是因为模型的复杂度不够，无法学习到数据中的有效特征。
主要表现：
- 训练误差和测试误差都较高。
- 模型无法充分捕捉数据特征，预测结果较为简单，无法反映数据的实际趋势。
解决欠拟合的方法：
- 增加模型复杂度：增加模型层数、神经元数，或选择更复杂的模型。
- 增加特征：从数据中提取更多有效特征（如多项式特征）。
- 增加训练轮数：多训练几轮，确保模型充分学习到数据模式。
下图展示一个简单的回归问题，欠拟合、适度拟合和过拟合三种模型在数据上的表现：
- Degree=1（欠拟合）：模型的复杂度过低，无法很好地捕捉数据的非线性特征。
- Degree=3（适度拟合）：模型较好地拟合了数据的趋势，误差较低。
- Degree=15（过拟合）：模型在训练数据上拟合得很好，但曲线波动大，对新数据的泛化能力差。
接下来介绍正则化。
正则化是一种用于防止机器学习模型过拟合的技术。正则化通过在损失函数中加入额外的惩罚项，使得模型更简单且泛化能力更强，避免在训练集上表现很好而在测试集上表现不佳的情况。常见的正则化方法有 L1 正则化、L2 正则化 和 Dropout。
1. L1 正则化
L1 正则化（也叫 Lasso 正则化）会在损失函数中增加一个与权重绝对值成正比的惩罚项，使得模型倾向于让某些权重变为零，从而实现特征选择的效果。
优点：
使部分权重变为零，达到稀疏特征选择的效果。
可以用来理解哪些特征对模型预测最重要。
Python 实现：
from sklearn.linear_model import Lasso
lasso_model = Lasso(alpha=0.1) # alpha 代表 λ
lasso_model.fit(X_train, y_train)
2. L2 正则化
L2 正则化（也叫 Ridge 正则化）在损失函数中加入权重平方的惩罚项。这种方法不会将权重变成零，但会使其尽可能接近零，从而使模型更平滑。
优点：
有效减少模型的复杂度。
对于多重共线性的特征有良好的控制效果。
Python 实现：
from sklearn.linear_model import Ridge
ridge_model = Ridge(alpha=0.1) # alpha 代表 λ
ridge_model.fit(X_train, y_train)
3. Elastic Net
Elastic Net 是 L1 和 L2 正则化的结合，可以根据需要平衡稀疏性和稳定性。Elastic Net 的损失函数包含了 L1 和 L2 惩罚项，公式如下：
Python 实现：
from sklearn.linear_model import ElasticNet
elastic_net_model = ElasticNet(alpha=0.1, l1_ratio=0.5) # l1_ratio 代表 ρ
elastic_net_model.fit(X_train, y_train)
4. Dropout 正则化
Dropout是一种适用于神经网络的正则化方法，它通过在训练过程中随机“丢弃”一部分神经元（即将其输出设置为零）来防止过拟合。测试时将所有神经元的输出乘以一个比例因子，以保持训练和测试的一致性。这样模型不会过于依赖某些特定的神经元，提高了模型的泛化能力。
Python 实现：
from tensorflow.keras.models import Sequential
# 从tensorflow.keras.layers导入Dense和Dropout层
from tensorflow.keras.layers import Dense, Dropout
# 创建一个Sequential模型实例
model = Sequential([
# 添加第一个全连接层（Dense层），有64个神经元，激活函数为ReLU，input_shape代表输入数据的形状 例如(784,)对于28x28的图像数据
Dense(64, activation='relu', input_shape=(input_shape,)),
# 添加Dropout层，用于减少过拟合，丢弃率为50%，即在训练过程中随机丢弃一半的神经元
Dropout(0.5),
# 添加第二个全连接层，有64个神经元，激活函数同样为ReLU
Dense(64, activation='relu'),
# 再次添加Dropout层，丢弃率仍为50%
Dropout(0.5),
# 添加输出层，这是一个全连接层，但只有1个神经元，通常用于回归任务 对于回归问题，默认是线性激活
Dense(1)
])
# 编译模型，指定优化器为Adam，损失函数为均方误差（MSE），这通常用于回归任务
model.compile(optimizer='adam', loss='mse')
5. 数据正则化
虽然严格来说不属于正则化项，但标准化或归一化数据可以减少模型过拟合的可能性，帮助模型更稳定地收敛。常用的包括 标准化（Standardization） 和 归一化（Normalization）。标准化将数据缩放为均值为 0、标准差为 1，归一化则将数据缩放到特定区间（通常是 [0, 1] 或 [-1, 1]）。
Python 实现：
# 从sklearn.preprocessing模块导入StandardScaler和MinMaxScaler类
from sklearn.preprocessing import StandardScaler, MinMaxScaler
# 标准化
scaler = StandardScaler() # StandardScaler用于将特征缩放到均值为0，标准差为1的分布上
X_train_scaled = scaler.fit_transform(X_train) # 使用fit_transform方法对训练数据X_train进行拟合和转换
# 归一化
scaler = MinMaxScaler() # MinMaxScaler用于将特征缩放到给定的最小值和最大值之间（通常是0和1）
X_train_normalized = scaler.fit_transform(X_train)
6.早停法 (Early Stopping)
早停法在训练过程中监测验证集误差，当验证误差不再减少时提前停止训练。这样可以防止模型在训练集上过度拟合，帮助模型达到更好的泛化效果。
优点：
实现简单，只需在验证集上检测误差变化。
不增加额外的惩罚项，直接通过优化训练步骤控制过拟合。
Python 实现：
from tensorflow.keras.callbacks import EarlyStopping
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense
# 构建简单神经网络
model = Sequential([
Dense(64, activation='relu', input_shape=(input_shape,)),
Dense(64, activation='relu'),
Dense(1)
])
model.compile(optimizer='adam', loss='mse', metrics=['mae'])
# 使用早停法
early_stopping = EarlyStopping(
monitor='val_loss', # 监测验证集损失
patience=5, # 容忍验证集损失连续5次无改善
restore_best_weights=True
)
# 训练模型
history = model.fit(
X_train, y_train,
epochs=100,
validation_data=(X_val, y_val),
callbacks=[early_stopping]
)
7. 数据增强 (Data Augmentation)
数据增强通过生成新的数据样本来扩大数据集的大小，帮助模型提升泛化能力。例如，在图像分类中可以通过旋转、翻转、缩放等操作生成新的图像样本，从而减少模型的过拟合风险。通常用于计算机视觉任务。
优点：
增加数据集多样性，有助于模型学习更丰富的特征。
不依赖于模型结构，可与其他正则化方法组合使用。
Python 实现：
from tensorflow.keras.preprocessing.image import ImageDataGenerator
# 定义数据增强参数
datagen = ImageDataGenerator(
rotation_range=40, # 随机旋转角度
width_shift_range=0.2, # 随机水平平移
height_shift_range=0.2, # 随机竖直平移
shear_range=0.2, # 随机错切变换
zoom_range=0.2, # 随机缩放
horizontal_flip=True, # 随机水平翻转
fill_mode='nearest' # 填充方式
)
# 将增强的数据传入模型
train_generator = datagen.flow(X_train, y_train, batch_size=32)
model.fit(train_generator, epochs=50)
8. 批量归一化（Batch Normalization）
批量归一化通过在网络的每一层加入一个归一化步骤，将数据标准化为均值为0、方差为1的分布。公式如下：
Python 实现：
from tensorflow.keras.layers import BatchNormalization
model = Sequential([
Dense(64, input_shape=(input_shape,), activation='relu'),
BatchNormalization(), # 添加批量归一化层
Dense(64, activation='relu'),
BatchNormalization(),
Dense(1)
])
model.compile(optimizer='adam', loss='mse')
最后，用一个多项式回归模型来拟合带有噪声的二次函数。为了展示过拟合和正则化的效果，用 15 阶多项式拟合数据并对比无正则化与正则化模型的结果。以下是代码：
import numpy as np
import matplotlib.pyplot as plt
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.metrics import mean_squared_error
# 生成示例数据：二次曲线加噪声
np.random.seed(42)
X = np.sort(5 * np.random.rand(20, 1), axis=0) # 输入范围为 [0, 5] 的随机点
y = 2 * X**2 + X + 3 + np.random.randn(20, 1) # y = 2x^2 + x + 3 加上噪声
# 创建高阶多项式特征
poly_features = PolynomialFeatures(degree=15) # 15阶多项式会导致过拟合
X_poly = poly_features.fit_transform(X)
# 普通回归模型（容易过拟合）
model_no_reg = LinearRegression()
model_no_reg.fit(X_poly, y)
# 带 L2 正则化的回归模型（Ridge 回归）
model_with_reg = Ridge(alpha=1) # alpha 是正则化强度，值越大正则化越强
model_with_reg.fit(X_poly, y)
# 生成测试数据
X_test = np.linspace(0, 5, 100).reshape(-1, 1)
X_test_poly = poly_features.transform(X_test) # 将测试数据转换为多项式特征
y_pred_no_reg = model_no_reg.predict(X_test_poly) # 无正则化模型的预测结果
y_pred_with_reg = model_with_reg.predict(X_test_poly) # 正则化模型的预测结果
# 绘制结果
plt.figure(figsize=(12, 6))
# 绘制训练数据和真实曲线
plt.scatter(X, y, color="blue", label="Training data")
plt.plot(X_test, 2 * X_test**2 + X_test + 3, color="green", linestyle="--", label="True function")
# 绘制无正则化模型预测曲线（容易过拟合）
plt.plot(X_test, y_pred_no_reg, color="red", label="Prediction without Regularization")
# 绘制带 L2 正则化模型预测曲线（缓解过拟合）
plt.plot(X_test, y_pred_with_reg, color="purple", label="Prediction with L2 Regularization")
# 图例和标题
plt.xlabel("X")
plt.ylabel("y")
plt.title("Overfitting and Regularization in Polynomial Regression")
plt.legend()
plt.show()
# 计算和输出训练误差（均方误差）
mse_no_reg = mean_squared_error(y, model_no_reg.predict(X_poly))
mse_with_reg = mean_squared_error(y, model_with_reg.predict(X_poly))
print("Mean Squared Error without Regularization:", mse_no_reg)
print("Mean Squared Error with L2 Regularization:", mse_with_reg)
输出结果
结果分析
在图中，可以看到：
- 红色曲线（无正则化）在训练数据上完全拟合，表现出过拟合特性。
- 紫色曲线（带正则化）更平滑，避免了过度拟合，符合数据的真实趋势。
别忘了给这篇文章点个赞哦，非常感谢。我也正处于学习的过程，如果有问题，欢迎在评论区留言讨论，一起学习！
