学习总结
文章目录
- 学习总结
- 一、矩阵分解
- 二、信息论
- 熵(Entropy)
- 联合熵
- 条件熵
- 互信息
- 相对熵
- 交叉熵
一、矩阵分解
机器学习中常见的矩阵分解有特征分解和奇异值分解。
先提一下矩阵的特征值和特征向量的定义
- 若矩阵
为方阵，则存在非零向量
和常数
满足
，则称
的矩阵具有
个特征值，
其对应的n个特征向量为
- 矩阵的迹(trace)和行列式(determinant)的值分别为
矩阵特征分解： 的矩阵具有
个不同的特征值，那么矩阵A可以分解为
.
其中
奇异值分解：对于任意矩阵 ，存在正交矩阵
和
，使其满足
，则称上式为矩阵
二、信息论
熵(Entropy)
信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量。
假定当前样本集合X中第i类样本 所占的比例为
，则X的信息熵定义为：
H(X)的值越小，则X的纯度越高，蕴含的不确定性越少
联合熵
两个随机变量X和Y的联合分布可以形成联合熵，度量二维随机变量XY的不确定性：
条件熵
在随机变量X发生的前提下，随机变量Y发生带来的熵，定义为Y的条件熵，用H(Y|X)表示，定义为：
条件熵用来衡量在已知随机变量X的条件下，随机变量Y的不确定。 熵、联合熵和条件熵之间的关系：.
互信息
相对熵
相对熵又称KL散度，是描述两个概率分布P和Q差异的一种方法，记做D(P||Q)。在信息论中，D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布。
- 离散形式：
.
- 连续形式：
.
交叉熵
一般用来求目标与预测值之间的差距，深度学习中经常用到的一类损失函数度量，比如在对抗生成网络( GAN )中
交叉熵：.