《机器学习》 基于SVD的矩阵分解 推导、案例实现

目录

一、SVD奇异值分解

1、什么是SVD

2、SVD的应用

        1）数据降维

        2）推荐算法

        3）自然语言处理

3、核心

        1）什么是酉矩阵

        2）什么是对角矩阵

4、分解过程

二、推导

1、如何求解这三个矩阵

        1）已知： 

        2）根据酉矩阵的特点即可得出：

        3）隐含条件：

        4）计算：

        5）结论

2、实例

        1）求U与V对应的协方差矩阵

        2）求各自协方差矩阵对应的特征值和特征向量

                • 求A^T A对应的特征值和特征向量

                • 求 A A^T 对应的特征值和特征向量

三、代码实现

1、导包

2、代码演示

运行结果为：

代码调试状态：

一、SVD奇异值分解

1、什么是SVD

        SVD就是奇异值分解。在机器学习中，SVD是一种常用的矩阵分解方法，用于将一个矩阵分解为三个矩阵的乘积。具体来说，对于一个m×n的实数矩阵A，SVD将其分解为以下形式：

                A = UΣV^T

        其中，U是一个m×m的正交矩阵，Σ是一个m×n的对角矩阵，V^T是一个n×n的正交矩阵。Σ的对角线上的元素称为奇异值，表示原始矩阵A在对应的奇异向量方向上的重要程度。

2、SVD的应用

        1）数据降维

                可以通过保留最重要的奇异值和对应的奇异向量，将原始数据降维到一个较低维度的表示，以减少数据的冗余和计算复杂度。

        2）推荐算法

                SVD可以分解用户-项目评分矩阵，从而得到用户和项目在一个低维的潜在空间中的表示，进而进行推荐。

        3）自然语言处理

                SVD可以用于词向量的降维和表示，从而实现语义分析任务，如文本分类、情感分析、语义相似度计算，也可以用于对大规模文本数据进行降维和压缩，从而提高文本处理和存储的效率。

3、核心