2.模型评估与选择

2.1 泛化能力

模型在未见样本上表现好
评价模型性能时，我们更希望他泛化能力强

2.2 过拟合和欠拟合

泛化误差：在未来样本上的误差
经验误差（训练误差）：在训练集上的误差
过拟合Overfitting：把不该学的学进去了
机器学习关键：怎样缓解Overfitting

2.3 三大问题

2.3.1 评估方法

在未来表现如何

留出法 Holdout

划分已有数据集=训练集+测试集

1. 保持数据分布一致性（分层采样）
2. 多次重复划分（误差取平均）
3. 测试集大小适中
   划分测试集进行评估完后要整个合起来再用测试得到较优的算法来训练
   缺点：每次随即划分，可能有东西漏了

交叉验证法CV

k-折交叉验证法

自助法

基于“自主采样”bootstrap sampling
有放回采样，可重复采样
每次随机取一些，复制一次后放回。最终没摸到的作为测试集，“包外估计”

2.3.2 性能度量（刻画标准）

2.3.3 比较检验（模型在统计意义上表现好）