Welcome To My Blog
推导完PCA再来看看SVD
概述
- 奇异值分解(singular value decomposition)可以分解任意形状的矩阵, PCA是对方阵操作,所以SVD适用范围更
- A=UΣV^t
具体推导
分解形式
A是一个m*n的矩阵,那么A的SVD分解为Amn= Umm*Σmn*Vnn^t (Amn表示A是m*n的矩阵)
其中:
+ Σ只在对角线(可能不同于方阵的对角线)上有非零值,称为A的奇异值(singular value),按降序排列,取值为 A*A^t 或者 A^t*A 的特征值的正平方根(取值不同可造成SVD分解形式的不唯一)
- U和V都是正交矩阵,即满足U^t*U = E, V^t*V = E
- A*A^t
= U*Σ*V^t *V*Σ^t *U^t
= U*Σ*Σ^t *U^t
所以,Σ*Σ^t 的对角元素是A*A^t 的特征值,U是A*A^t的特征向量构成的正交矩阵 - A^t *A
= V*Σ^t *U^t *U*Σ*V^t
= V*Σ^t *Σ*V^t
所以,Σ^t *Σ的对角元素是A^t *A的特征值,V是A^t*A的特征向量构成的正交矩阵
SVD分解展开式:
不妨设m≥n,则有:
Amn
= Umm*Σmn*Vnn^t
= (u1,u2…um)*diag_like(d1,d2…dn)*(v1^t ,v2^t …vn^t )^t
= Σdi*ui*vi^t (i from 1 to n)
= Σdi*Zi (令Zi=ui*vi^t,Zi也是m*n型)
所以,对A进行SVD分解,相当于把A分解为n个(m≥n时)Zi的加权和.
di的大小评估了每个Zi对A的贡献,所以可以挑出大di,抛弃小di以实现降维的目的
SVD的应用
信息压缩
- 取前r大的奇异值di,来近似A,也就是U取前r个列向量,V取前r个列向量,Σ取前r个对角元素,即 Amn ≈ Umr*Σrr*Vrn^t (对应上图看更明确)
当r<
图像降噪
- 通常,小的奇异值对应的是噪声,所以取前r个奇异值di可以降噪