机器学习--神经网络

什么是神经网络？ 

        “神经网络是由具有适应性的简单单元组成广泛并行互连的网络，它的组织能够模拟生物神经

系统对真实世界物体所作出的交互反应。”

## 神经网络是一个很大的学科领域，此处仅讨论神经网络与机器学习的交集，即“神经网络学习"，亦称“连接主义”学习

“简单单元”神经元模型

M-P神经元模型

# 神经网络学得的知识蕴藏在连接权和阈值中

神经元的“激活函数”(Active function)

                亦称“响应函数”(给一个数据产生一个输出)，“挤压函数”(把负无穷到正无穷的输入挤压到0~1之间)。

# 函数的导数为正负几率的乘积

理想激活函数是介于人函数，0表示一直神经元，而1表示激活神经元

阶跃函数具有不连续、不光滑等不好的性质，常用的是Sigmoid函数

多层前馈网络结构

多层网络

        包含隐层的网络

前馈网络

        神经元之间不存在同层连接也不存在跨层连接(没有环状的结构)

隐层和输出层神经元亦称“功能单元”(Function Unit)

** 隐层(隐含层)：夹在输入和输出神经元(两端)中间的部分

多层前馈神经网络结构如下图