深度学习入门知识点小结

深度学习(Deep Learning)

       简介:

              机器学习的分支, 是一种以神经网络为架构, 对数据进行特征学习是算法

       深度学习(DL)与机器学习(ML)的区别:

              1.特征提取

                     ML:人工进行特征抽取

                     DL:可以通过深度神经网络自动进行特征抽取

              2.数据量

                     ML:需要的数据少, 效果不是很好

                     DL:需要的数据多, 效果更好, 因为参数更多, 需要更大的算力

              3.应用场景

                     ML:擅长处理结构化数据和一些简单的非结构化数据, 适合比较简单的任务,

                     包括推荐系统, 医疗辅助诊断

                     DL:擅长处理非结构化数据, 可以解决一些机器学习无法处理的问题, 包括

       主要应用场景:

              1.图像识别

                     物体识别

                     场景识别

                     人脸身份认证

                     人脸跟踪检测

              2.自然语言处理

                     机器翻译

                     文本识别

                     聊天对话

              3.语音技术

                     语音识别

       深度学习框架:

              TensorFlow,Kears是google产品, 但语法较复杂, 新手上手难度较高

              PyTorch, facebook产品, 与python语法相同, 操作方式类似numpy

人工神经网络(ANN), 简称神经网络(NN)

       简介:

              模拟生物的神经系统, 对函数进行评估或者近似

       神经元

       单层神经网络

       感知机

              两层神经网络

              例子:简单的二分类模型

       多层神经网络

              输入层

              隐藏层(隐藏层可以有很多, 且每层可以有多个神经元)

              输出层

       激活函数

              作用:

                     增加模型非线性分割能力

                     提高模型稳健性(也叫鲁棒性)

                     缓解梯度消失

                     加速模型收敛

              sigmiod

                     (0:1)

              tanh

                     (-1:1)

              relu

                     (max0:x)

              ELU

                     a(e^x-1)

扩展:

       线性函数:

              同时满足下列两个条件就是线性函数

                     1.可加性:

                            f(x1+x2)=f(x1)+f(x2)

                     2.齐次性:

                            f(kx)=kf(x)

       注意:

              线性函数不仅仅包含直线, 微分和积分也是线性函数