机器学习Machine Learning

附件5：课程教学大纲参考模板

（注：各学院可采用该模板，也可自设模板，但每个学院需使用统一模板）

《机器学习》教学大纲

Teaching（Course）Outline of Machine Learning

第一部分 大纲说明（宋体，四号加粗，居中）

1．课程代码：329021003

2．课程类型：学科必修课

3．开课时间：秋季学期，第1周—第 9 周

4．课程目标：采用多媒体教学和传统教学相结合的方式，在理论介绍上做到简洁直观，在实验展示上做到生动活泼。通过理论学习，学生将掌握统计机器学习的经典理论，了解当前最新的进展，并学会针对各自学科的具体问题建模和设计算法。掌握各种常用的机器学习工具包，最终实现算法、完成实验结果分析。考虑到统计机器学习的特点，在教学上始终贯彻理论联系实践的宗旨，培养学生的动手能力，以解决具体问题为驱动，在学中用、在用中学。

 5．面向学科：计算机科学与技术

6．考核方式：考试，考试成绩70%+平时作业30%

7．预修课程：程序设计，高等数学，线性代数

8. 教学方式：线下讲授+线上教学+线上实验

 9．学时学分：36学时，2学分

10. 教材及教学参考资料：（宋体，五号加粗，居左）

教材： 

周志华.机器学习. 清华大学出版社.2016年.

塞巴斯蒂安·拉施卡.Python机器学习. 机械工业出版社.2017年.

参考资料：

Ethem Alpaydın著，范明等译，机器学习导论(第3版).机械工业出版社.2014年.

李航. 统计学习方法. 清华大学出版社.2012年.

焦李成,赵进,杨淑媛,刘芳 深度学习、优化与识别. 清华大学出版社.2017年.

第二部分 教学内容和教学要求

本课程是面向软件工程研究生开设的专业拓展课。其教学重点是使学生掌握常见机器学习算法，包括监督学习、半监督学习、无监督学习和深度学习中的典型算法原理，并通过编程练习和典型应用实例加深了解。通过本课程的学习，要求学生达到：①了解机器学习技术的整体概貌；②了解机器学习的主要应用及当前的研究热点问题和发展方向；③掌握最基本的概念、算法原理和技术方法。

第1章  机器学习概述

1．本章主要内容： 

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生“模型”，用于对新的情况给出判断。

本章主要介绍机器学习的一般原理、相关概念以及几类学习问题  。包括：学习问题的标准描述、设计一个学习系统、选择训练方式、选择目标函数、选择目标函数的表示、选择函数优化（逼近）算法 等；监督学习、无监督学习、半监督学习、强化学习、深度学习。

2．本章的重点与难点、需掌握的主要知识：

主要知识点：学习问题的标准描述、训练方式、目标函数及其表示、函数优化（逼近）算法；监督学习、无监督学习、半监督学习、强化学习、深度学习。

难点与重点：机器学习的一般原理，区分几类学习问题。

3．预备知识要求

算法分析与设计

4．主要参考资料

[1] Dobre C, Xhafa F. Intelligent services for Big Data science[J]. Future Generation Computer Systems, 2014, 37(2):267-281.

[2] Lewis B P, Shih I H, Jones-Rhoades M W, et al. Prediction of Mammalian MicroRNA Targets[J]. Cell, 2004, 115(7): 787-798.

[3] Wibisono A, Jatmiko W, Wisesa H A, et al. Traffic big data prediction and visualization using Fast Incremental Model Trees-Drift Detection (FIMT-DD)[J]. Knowledge-Based Systems, 2015, 93:33-46.

[4] Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. Springer- Verlag, New York[M]// Springer, New York, USA. Huber,W. 2000.

[5] Bishop C M. Pattern Recognition and Machine Learning (Information Science and Statistics)[M]. Springer-Verlag New York, Inc. 2006.

[6] Ian H.Witten, Eibe Frank, Mark A.Hall, 李川译, 数据挖掘：实用机器学习工具与技术（第3版），机械工业出版社，2014

[7] Bhatt C, Dey N, Ashour A S. Internet of Things and Big Data Technologies for Next Generation Healthcare[M]. Springer International Publishing, 2017

第2章  监督学习

1．本章主要内容： 

监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。

本章介绍典型的监督学习技术和模型评估，包括：贝叶斯分类器、决策树、支持向量机；模型评估方法、性能度量。

2．本章的重点与难点、需掌握的主要知识：

主要知识点：贝叶斯决策理论、朴素贝叶斯分类器、概率分布的极大似然估计、最大后验估计和非参数估计、支持向量机原理、常用的模型评估方法和度量方式。

重点和难点：贝叶斯决策理论、参数估计、支持向量机的对偶表示。

3．预备知识要求

数理统计，高等数学、线性代数（或者 最优化理论基础）

4．主要参考资料

[1] Breiman L, Friedman J H, Olshen R A, et al. CART: Classification and Regression Trees[J]. Biometrics, 1984, 40(3):358.

[2] Bishop C M. Pattern Recognition and Machine Learning (Information Science and Statistics)[M]. Springer-Verlag New York, Inc. 2006.

[3] Hastie T, Tibshirani R, Friedman J. The Elements of Statistical Learning. Springer-Verlag, New York[M]// Springer, New York, USA. Huber,W. 2000.

[5] Vapnik V, Cortes C. Support vector networks[J]. Machine Learning, 1995, 20(3): 273 -297.

[6] Murphy K P. Machine Learning: A Probabilistic Perspective[M]. MIT Press, 2012.

第3章 无监督学习

1．本章主要内容： 

现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

本章介绍典型的无监督学习技术：高斯混合模型及EM算法、k-means算法及其核化版本、基于图的聚类算法。

2．本章的重点与难点、需掌握的主要知识：

主要知识点：隐变量、EM算法、K-means算法、核函数、归一化图切割的目标函数及其优化原理。

重点和难点：EM算法、K-means算法、核函数、归一化图切割的优化原理。

3．预备知识要求

数理统计、离散数学（图论基础）

4．主要参考资料

[1] Mcculloch C E, Maclachlan G J, Krishnan T. The EM Algorithm and Its Extensions[J]. Journal of the American Statistical Association, 1998, 93(441):403.

[2] Anil K. Jain. Data clustering: 50 years beyond K-means ☆[J]. Pattern Recognition Letters, 2010, 31(8):651-666.

[3] Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(8):888-905.

[5] Peng B, Zhang L, Zhang D. A survey of graph theoretical approaches to image segm- entation [J]. Pattern Recognition, 2013, 46(3):1020-1038..

第4章 半监督学习

1．本章主要内容： 

半监督学习(Semi-Supervised Learning，SSL)是模式识别和机器学习领域研究的重点问题，是监督学习与无监督学习相结合的一种学习方法。半监督学习使用大量的未标记数据，以及同时使用标记数据，来进行模式识别工作。当使用半监督学习时，将会要求尽量少的人员来从事工作，同时，又能够带来比较高的准确性，因此，半监督学习目前正越来越受到人们的重视。

本章介绍典型的半监督学习技术：半监督k-means算法、基于图的半监督学习。

2．本章的重点与难点、需掌握的主要知识：

主要知识点：半监督的概念、半监督的表示、k-means算法、半监督图切割准则。

难点与重点：半监督信息的处理与数学表示，半监督图切割准则的优化。

3．预备知识要求

离散数学（图论基础）

4．主要参考资料

[1] Anil K. Jain. Data clustering: 50 years beyond K-means ☆[J]. Pattern Recognition Letters, 2010, 31(8):651-666.

[2] Shi J, Malik J. Normalized cuts and image segmentation[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(8):888-905.

[3] Peng B, Zhang L, Zhang D. A survey of graph theoretical approaches to image segm- entation [J]. Pattern Recognition, 2013, 46(3):1020-1038..

[4] Chew S E, Cahill N D. Semi-Supervised Normalized Cuts for Image Segmentation[C]// IEEE International Conference on Computer Vision. IEEE Computer Society, 2015:1716-1723.

[5] He P, Xu X, Chen L. Constrained Clustering with Local Constraint Propagation[M]// Computer Vision – ECCV 2012. Workshops and Demonstrations. Springer Berlin Heidelberg, 2012:223-232.

第5章 深度学习概论

1．本章主要内容： 

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

本章介绍人工神经网络的基本概念以及深度学习的研究现状。

2．本章的重点与难点、需掌握的主要知识：

感知器算法、人工神经网络的基本原理、BP算法、深度学习的现状。

难点和重点：BP算法的推导

3．预备知识要求

高等数学

4．主要参考资料

[1] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553):436-444.

[2] Schmidhuber J. Deep learning in neural networks: an overview[J]. Neural Networks, 2015, 61:85-117.

[3] Golovko V A. Deep learning: an overview and main paradigms[J]. Optical Memory & Neural Networks, 2017, 26(1):1-17.