模型评估与选择

数据集划分

留出法：直接将数据集划分为两个互斥集合

K折交叉验证：“交叉验证法”(cross validation)先将数据集D划分为k个大小相似的互斥子集,每个子集D都尽可能保持数据分布的一致性,即从D中通过分层采样得到.然后，每次用k-1个子集的并集作为训练集,余下的那个子集作为测试集;这样就可获得k组训练/测试集,从而可进行k次训练和测试,最终返回的是这k个测试结果的均值.显然,交叉验证法评估结果的稳定性和保真性在很大程度上取决于k的取值,为强调这一点,通常把交叉验证法称为“k折交叉验证”(k-fold crossvalidation).k最常用的取值是10,此时称为10折交叉验证;其他常用的k值有5、20等.图2.2给出了10折交叉验证的示意图

自助法：留出法和交叉验证训练集较小，“自助法”(bootstrapping)是一个比较好的解决方案,它直接以自助采样法(bootstrap sampling)为基础.给定包含m个样本的数据集D，我们对它进行采样产生数据集D':每次随机从D中挑选一个样本,将其拷贝放入D',然后再将该样本放回初始数据集D中,使得该样本在下次采样时仍有可能被采到;这个过程重复执行m次后,我们就得到了包含m个样本的数据集D'，这就是自助采样的结果.显然,D中有一部分样本会在D'中多次出现,而另一部分样本不出现.可以做一个简单的估计,样本在m次采样中始终不被采到的概率是$(1-\frac{1}{m})^{m}$,取极限得到

$$
\lim_{m \to \infty}(1-\frac{1}{m})^{2} \to \frac{1}{e} \approx 0.368
$$

性能度量

错误率：分类错误的样本数占样本总数比例

精度：分类正确的样本数占样本总数比例

查准率：$\frac{真正例}{真正例+假正例}=\frac{TP}{TP+FP}$

查全率：$\frac{真正例}{真正例+未查出的正例}=\frac{真正例}{真正例+假反例}=\frac{TP}{TP+FN}$

‍