深度学习：（一）基础解释，逻辑回归重点说明

一、专业名词

1.Machine Learning #机器学习（ML）
2.Deep Learning # 深度学习（DL）
3.Convolutional Neural Networks # 卷积神经网络（CNN）
4.Recurrent Neural Network # 循环神经网络（RNN）
5.Long Short-Term Memory # 长短期记忆网络（LSTM）
6.Rectified Linear Unit # 修正线性单元（ReLU）
7.Supervised Learning # 监督学习
8.Binary Classification # 二分分类
9.Logistic Regression # 逻辑回归
10.Logistic Regression loss function # 逻辑回归损失函数
11.Logistic Regression cost function # 逻辑回归成本函数
12.Gradient Descent # 梯度下降法

二、数据结构（数据的表现形式）

数据也分为结构化数据和非结构化数据，

结构化数据：

表现形式：数据表格

非结构化数据：

表现形式：非直观的数据表

对于图像数据，一般采用CNN训练；对于一维序列数据，一般采用RNN训练。

三、有关向量的维度

• 数组是向量（vector）、矩阵（matrix）、张量（tensor）的整体概括。向量是一维数组，矩阵是二维数组，张量是三维及以上的高维数组（ndarray）。这个时候，数组的维度是和空间的维度对应的。
• 然后这个时候就有一个东西叫 n 维向量，之前说了向量是一维数组，怎么又有 n 维向量？这里的 n 维指的是向量元素的个数，即可以表示 n 维空间的一个点。比如二维向量（x，y）可以表示二维平面的一个点，三维向量（x，y，z）可以表示三维空间的一个点。以此类推。

四、逻辑回归常用符号

先跳过，看完第五大点的第8小点，再来看这个，然后看第9小点。

在 logistic 回归和神经网络中，会用到一些符号：

用 (x,y) 来表示一个单独的样本【这里 (x,y) 不是一个坐标点之类的单个数字，只是一种写法】 ：

五、专有名词解释：

对应第一大点的序号。

6. 线性修正单元 ReLU ：

   深度学习中的线性修正单元（ReLU，全称 Rectified Linear Unit）是一种广泛使用的激活函数。ReLU 激活函数的定义非常简单，其形式为：
   R e L U ( x ) = m a x { 0 , x } ReLU(x)=max\{0,x\} ReLU(x)=max{0,x}
   这意味着：

   • 当输入 x 为正值时，ReLU 输出 x。
   • 当输入 x 为负值时，ReLU 输出 0。

   其图像如下所示：
   

7. Supervised Learning 监督学习
   监督学习是机器学习中的一种主要方法，其核心思想是通过已知的输入–输出对（即带有标签的数据集）来训练模型，使模型能够泛化到未见的新数据上，做出正确的预测或分类。

   • 在监督学习中，可以使用各种不同的模型架构，包括CNN（卷积神经网络）和RNN（递归神经网络）。
   • 但监督学习并不直接包含CNN和RNN，它们只是监督学习常用的模型架构。

8. Binary Classification 二元分类
   在深度学习中，二元分类（Binary Classification）指的是一种分类任务，其输出只有两种可能的情况。具体来说，二元分类是将输入的数据样本划分为两个互斥的类别，这两个类别通常用“0”和“1”或者“正类（Positive Class）”和“负类（Negative Class）”来表示。

   • 实现二元分类的模型有很多，包括但不限于逻辑回归（Logistic Regression）、支持向量机（SVM）、神经网络（包括深度神经网络）等。

9. Logistic Regression 逻辑回归

这是一种学习算法，用在监督学习中。

逻辑回归可以被看做是一个非常简单的神经网络。

逻辑回归会先用一个公式求出预测的概率，该公式见下方：

10. Logistic Regression Lost Function 逻辑回归损失函数

    在逻辑回归中，损失函数（Loss Function）是用来评估模型预测值与实际值之间差异的函数，准确的说，是“在单个训练样本中定义的，衡量了在单个训练样本上的表现”。其目的是通过最小化这个差异来优化模型参数。回归损失函数越小，表明差异越小。

    对于逻辑回归，最常用的损失函数是对数损失函数（Log Loss Function），也称为逻辑损失（Logistic Loss）或交叉熵损失（Cross-Entropy Loss）。

    对数损失函数公式如下：
    

• 对数损失函数中的 log 默认是自然对数，其底数默认的是常数 e （约等于2.71828）。实际上应该写成 ln 。

• 损失函数选用对数损失函数（Logarithmic Loss, Log Loss）的原因主要有以下几点：

  • 适用于分类问题

    对数损失函数通常用于分类问题，特别是二元分类和多元分类问题。它能够直接衡量模型预测的概率分布与真实标签之间的差异。

  • 概率解释性强

    对数损失函数基于概率理论，它利用预测概率来计算损失。这使得对数损失函数在解释模型预测结果时具有更强的概率解释性。在二元分类问题中，对数损失函数可以看作是对预测概率与实际标签之间差异的量化。

  • 易于优化

    对数损失函数是凸函数，具有唯一的全局最小值。这使得在优化过程中，可以通过梯度下降等优化算法找到最优解。此外，对数损失函数的梯度计算相对简单，便于实现和计算。

  • 反映预测精度

    对数损失函数能够很好地反映模型的预测精度。当预测概率与实际标签越接近时，对数损失越小；反之，当预测概率与实际标签相差较大时，对数损失会显著增加。这种性质使得对数损失函数成为评估分类模型性能的有效工具。

11. Logistic Regression cost function 逻辑回归成本函数

    在逻辑回归中，成本函数（Cost Function）也是用来评估模型预测值与实际值之间差异的函数，准确的说，是“衡量了在全体训练样本上的表现”。回归成本函数越小，表明差异越小。

    成本函数公式如下：
    

12. Gradient Descent 梯度下降法

    梯度下降法（Gradient Descent）是深度学习和优化算法中非常基础且广泛使用的一种技术，用于寻找函数的局部最小值。在深度学习中，我们通常使用梯度下降法来最小化某个损失函数（loss function）或成本函数（cost function）。

    基本原理：梯度下降法的基本思想是通过迭代的方式调整参数，使得损失函数逐渐减小。在每一步迭代中，我们计算损失函数关于模型参数的梯度（即偏导数），然后沿着梯度的反方向更新参数。这是因为梯度的方向指向了函数值增长最快的方向，所以其反方向就是函数值减少最快的方向。

    公式如下：
    

————————————————————————————————————————————
关于计算图，以及梯度下降法的详细计算原理，请进入下一篇博客：
下一篇博客