借助于二分类来理解版本空间
版本空间(version space)是概念学习中与已知数据集一致的所有假设(hypothesis)的子集集合。
版本空间学习是机器学习的逻辑方法,特别是二分类(binary classification)。版本空间学习算法搜索预定空间的假设,被视为一组逻辑语句。
对于二维空间中的“矩形”假设(概述图),绿色加号代表正类样本,红色小圈代表负类样本。 GB 是最大泛化正假设边界(maximally General positive hypothesis Boundary), SB 是最大精确正假设边界(maximally Specific positive hypothesis Boundary). GB与SB所围成的区域中的矩形即为版本空间中的假设,也即GB与SB围成的区域就是版本空间。
在一些需要对假设的泛化能力排序的情形下,就可以通过GB与SB这两个上下界来表示版本空间。在学习的过程中,学习算法就可以只在GB、SB这两个代表集合上操作。
版本空间的抽象概念
版本空间
今天来聊聊机器学习中的一个概念: version space, 中文翻译中,有‘变形空间’和‘版本空间’两种说法,版本空间指的是在学习过程中,与已知数据集一致的所有假设(hypothesis)的子集集合。通常用于对内容进行收敛。
版本空间算法
前面说到版本空间通常用于对学习内容进行收敛,而版本空间算法实际上是指:
对于所有需要学习的训练集:
如果给定的训练集是正例,那么泛化当前的特化模型使得其包含该正例,同时剔除不能包含该正例的泛化模型;
如果给定的训练集是负例,那么特化当前所有的的泛化模型来包含这个负例,同时剔除无法包含这个负例的特化模型;
删除任何可以被其他模型描述的模型
直到特化模型与泛化模型相同时,我们想要寻找的版本空间就诞生了
举例说明
以上纯概念的讲述可能有点难以理解,以一个实例来讲:
想象某天你在餐馆吃饭后过敏了,你不知道是什么原因导致的,计过敏为正例(图中以绿色线框表示),不过敏为负例(图中以红色外框表示),你的情况是:
‘小波餐馆
早餐
周五
价格便宜’
那么我们可以提炼出相应的特化模型和泛化模型,分别表示可能过敏的最特化模型和最泛化模型:
![](/i/l/?n=23&i=blog/2398290/202301/2398290-20230129205229255-155036013.png)
接下来来了第二位客人,他也过敏了,根据他的情况,结合前面提到的版本空间算法,每新增一个正例,我们对特化模型进行泛化,第二个正例中,与第一个正例不同的是时段,我们对时段进行泛化,得到新的特化模型
接下来来了第3位客人,他没有过敏,是负例,根据版本空间算法,新增负例,我们对泛化模型进行特化,因为负例的存在说明并不是在任何餐馆、任何时段、任何日期、任何价格的情况下都会导致过敏,肯定是有一定约束的:
![](/i/l/?n=23&i=blog/2398290/202301/2398290-20230129205836777-74590988.png)
同时,我们将泛化模型中不包含已存在的特化模型(即‘任何餐馆,早餐,任何日期,任何价格’)和包含了负例(即‘任何餐馆,任何时段,任何日期,便宜’)的泛化模型剔除,那么得到:
![](/i/l/?n=23&i=blog/2398290/202301/2398290-20230129210032226-1816152617.png)
接下来也是一样的操作,随着正例和负例的增多,最后特化模型和泛化模型会倾向于相等,到那一步,我们要寻找的版本空间也就出现了。
标签:泛化,模型,理解,负例,版本,空间,特化 From: https://www.cnblogs.com/oceaning/p/17073954.html