机器学习：规则学习

1. 基本概念

机器学习中的“规则”(rule)通常是指语义明确、能描述数据分布所隐含的客观规律或领域概念、可写成“若……,则……”形式的逻辑规则.

“规则学习” (rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则。

解决冲突的办法称为“冲突消解”(conflict resolution).常用的冲突消解策略有投票法、排序法、元规则法等。

• 投票法是将判别相同的规则数最多的结果作为最终结果；
• 排序法是在规则集合上定义一个顺序,在发生冲突时使用排序最前的规则;
  • 相应的规则学习过程称为“带序规则”(ordered rule)学习或“优先级规则” (priority rule)学习；
• 元规则法是根据领域知识事先设定一些“元规则” (meta-rule),即关于规则的规则,
  • 例如“发生冲突时使用长度最小的规则”,然后根据元规则的指导来使用规则集.

2. 序贯覆盖

规则学习的目标是产生一个能覆盖尽可能多的样例的规则集,最直接的做法是“序贯覆盖”(sequential covering),

即逐条归纳:在训练集上每学到一条规则,就将该规则覆盖的训练样例去除,然后以剩下的训练样例组成训练集重复上述过程,

由于每次只处理一部分数据,因此也被称为“分治”(separate-and-conquer)策略。