第一章 绪论

1.1 引言

机器学习的经典定义：利用经验（数据）改善系统自身的性能

经典的机器学习过程：

机器学习最重要的理论模型：PAC（概览近似正确）

1.2 基本术语

数据集：一组记录的集合

学习/训练：通过执行某个学习算法，得到模型，学的的模型对应数据的某种潜在规律

示例：不包含结果（标记label） ， 样例:包含结果（标记label）

样本 ， 属性（eg.色泽） ， 属性值

属性空间、样本空间、输入空间：

学习器：模型

分类：离散的输出（是or否） ，回归：连续的输出（0->1）

二分类（正类，负类<可交换>），多分类

无监督学习：不知道结果（任务：密度统计） ， 监督学习：知道结果（任务：分类，回归）

1.3 假设空间

学习过程：在所有假设组成的空间中进行搜索的过程（目标：找到与训练集匹配的假设）

版本空间：与训练集一致的假设集合

1.4 归纳偏好

有效的机器学习必有其偏好

学习算法的归纳偏好是否与问题本身匹配，决定了算法的性能

1.5 NFL定理

一个算法a若在某些问题上比另一个算法b好，必存在另一些问题b比a好

具体问题，具体分析