一、深度学习相关理论

1.神经网络概述

2. 卷积神经网络CNN

①卷积层——计算方法是大矩阵内部×小矩阵=较小矩阵，作用是特征提取

②池化层——计算方法是大矩阵通过选取最大值或是平均值变成小矩阵，作用是降维、提高计算效率

3. 激活函数——将输入信号转换为非线性的形式，使神经网络能够表示复杂的非线性关系，除此之外，还可以限制输出范围、缓解梯度消失问题

①Sigmoid函数——适用于二分类问题

②Tanh激活函数——常用于隐藏层中，尤其在循环神经网络（RNN）和长短期记忆网络（LSTM）等结构中。然而，由于其存在梯度消失的问题，有时候也会被其它激活函数如 ReLU 所取代

③ReLU激活函数——计算简单，可以缓解梯度消失

二、注意力机制