一、绪 论
启发式小故事：
- AlphaGo
理论 算法 数据 建模 对策
学习16万局业余棋手比赛 - AlphaGo Zero
3天后： 100:0 超越AlphaGo Lee
21天后：达到AlphaGo Master
40天后：超过所有之前的版本
Thoughts about AlphaGo Zero:
无师自通：没有任何人类的经验
自问：人类的经验是有害的？
人类因循着先人的足迹，却可能错过了更优化的路径。
但人类的经验并非一无是处：谁愿意让一个零经验的机器人做手术？
最终的目标 vs 人类的伦理
预备知识：线性代数，概率与统计，随机过程，算法设计与分析
定义：
机器学习是从人工智能中产生的一个重要分支。
与人类相似的方式：利用经验（统计学习）从数据中提取信息（推断）。
机器学习—为输入与输出的关系建立模型
问题分类：
- 分类问题：又分为二分类，多分类
2 回归问题：在连续的输入与输出变量之间建立映射关系
机器学习的基本模式
- Supervised Learning 监督学习：训练集全有标记
- Semi-supervised Learning 半监督学习：训练集中的部分示例没有被标记
- Unsupervised Learning 无监督学习：训练集不含任何标记
- Reinforcement Learning 强化学习：在与环境的交互中学习，而不是向“导师”学习
Alpha Go is supervised learning + reinforcement learning.
基本术语
模型(model)： 假设 (结构+参数)
学习(learning)：缩小模型与真相的差距
推断(inference): 把模型用在新数据上做预测
数据集; 训练集, 测试集
假设空间
假设空间是指机器学习算法所有可能的假设组成的集合。
假设空间的大小：\(n1 * n2 * n3 + 1\)
学习过程：在所有假设(hypothesis)组成的空间中进行搜索的过程
目标: 找到与训练集“匹配”(fit)的假设
（即能将训练集中的样例判断正确的假设）
版本空间 (version space): 与训练集一致的假设集合
归纳偏好 (inductive bias)
归纳偏好：机器学习算法在学习过程中对某种类型假设的偏好，任何一个有效的机器学习算法必有其偏好。
一般原则：奥卡姆剃刀(Ocam’s razor)，即如果多个理论都能解释同一个现象，那么我们应该选择最简单的那个。即一般情况下选A。
但是
学习算法的归纳偏好是否与问题本身匹配，还是需要看数据本身的特征。
大多数时候直接决定了算法能否取得好的性能！
NFL定理：一个算法 A若在某些问题上比另一个算法B 好，必存在另一些问题， B比 A好。
总误差与学习算法无关！所有算法一样好！
NFL定理的重要前提：所有“问题”出现的机会相同、或所有问题同等重要（即f的分布）
实际情形并非如此：我们通常只关注自己正在试图解决的问题
所以还是要看数据，再选用不同的算法。