1. 人脑的视觉机理
1.1 理解人脑的分层世界机理
- 人脑视觉机理：
1981年的诺贝尔医学/生理学奖，发现可视皮层是分级的 - 人的视觉系统的信息处理是分级的。 从低级的V1区提取边缘特征，再到V2区的形状或者目标的部分等，再到更高层，整个目标、目标的行为等。
- 高层的特征是低层特征的组合， 从低层到高层的特征表示越来越抽象，越来越能表现语义或者意图。而抽象层面越高，存在的可能猜测就越少，就越利于分类。
1.2 深度学习怎么模仿人脑机理进行特征学习的
- 要学习的是特征的表达，那么关于特征，或者说关于这个层级特征，需要了解更深入。
特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。
如果数据被很好地表达成了特征，通常线性模型就能达到满意的精度。
2.特征
2.1特征颗粒度
具有结构性（含义） 的特征来表示颗粒度。比如是否具有车把手（handle），是否具有车轮（wheel），就很容易把摩托车和非摩托车区分开来，学习算法才能发挥作用。
2.2特征数量
任何一种方法，特征越多，给出的参考信息就越多，准确性会得到提升。但特征多意味着计算复杂，探索的空间大，可以用来训练的数据在每个特征上就会稀疏，都会带来各种问题，并不一定特征越多越好。t特征越多，可能不利于分类，特征数量是有一个最优值的。
2.3特征本质
边缘
3. 深度学习
3.1 基本思想
对于深度学习来说，其思想就是对堆叠多个层，也就是说这一层的输出作为下一层的输入。 通过这种方式，就可以实现对输入信息进行分级表达了。
前面假设输出严格地等于输入，这个限制太严格，可以略微放松这个限制，例如只要使得输入与输出的差别尽可能地小， 这个放松会导致另外一类不同的Deep Learning方法。
深度学习本质是一个深层神经网络，基本思想是堆叠多个层，将上一层输出作为下一层输入，逐步实现对输入信息分级表达，让程序从中自动学习深入、抽象的特征。深度学习减少了人为干预，而这恰恰保留了数据客观性，因此可以提取出更加准确的特征。
3.2 代表论文
2006年多伦多大学教授、机器学习领域泰斗Geoffrey Hinton在《科学》发表了一篇文章，开启了深度学习在学术界和工业界的浪潮
主要观点：
1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类。
2）深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wise pre-training）有效克服，逐层初始化是通过无监督学习实现的。