一.原理简介
PCA主成分分析，是一种使用较为广泛的数据降维算法，主要思想是将n维数据特征映射到k维上，
这k维全新的正交数据特征称为主成分；
PCA的工作就是从原始的空间中顺序地找一组相互正交的坐标轴，新的坐标轴的选择与数据本身是
密切相关的。其中，第一个新坐标轴选择是原始数据中方差最大的方向，第二个新坐标轴选取是与
第一个坐标轴正交的平面中使得方差最大的，第三个轴是与第1,2个轴正交的平面中方差最大的。
依次类推，可以得到n个这样的坐标轴。通过这种方式获得的新的坐标轴我们发现，大部分方差都
包含在前面k个坐标轴中，后面的坐标轴所含的方差几乎为0。于是，我们可以忽略余下的坐标轴，
只保留前面k个含有绝大部分方差的坐标轴。事实上，这相当于只保留包含绝大部分方差的维度特
征，而忽略包含方差几乎为0的特征维度，实现对数据特征的降维处理。
二.算法流程
输入：数据集X={x1,x2,x3,…,xn},需要降维到k维；
Ⅰ.样本中心化（即每一个特征都减去各自的均值）；
Ⅱ.计算协方差矩阵 (实际上除n或者n-1都一样，因为样本数据较大时两者比较接
近,也可以不除，因为同比例扩大缩小效果均一样)；
Ⅲ.对协方差矩阵进行对角化，并将对角线上的特征值从大到小进行排序，选择其中k个最大的，将
该k个特征向量分别作为特征向量矩阵w；
Ⅳ.用Y=X*w就得到了降维后的新空间;（至于左乘还是右乘取决于数据是行向量还是列向量，列向
量就变成左乘w的转置）。
此外，值得注意的是并不是所有矩阵都可以用特征值分解（即对角化协方差矩阵），必须要求有n
个线性无关的向量，如果不满足这种情况怎么办呢，这时候我们可以采用奇异值分解的方法
（SVD），此方法可对所有矩阵进行分解，但复杂情况视情况而定。
三.证明最小重构误差和最大化投影方差等价
前面我们特征分解样本的协方差矩阵，而协方差矩阵的对角线上中心化后刚好是样本的投影方差，
并取前k个特征值对应的特征向量作为投影矩阵2，解决了PCA的最大可分性问题。接下来从最小重
构误差入手，即使得样本离我们的超平面越近越好，解决PCA的最小重构问题。
首先假设数据集为n维，共有m组数据（x1,x2,x3,…,xm），注意这里每一个 均为n维的列向量；
原坐标系为（w1,w2,w3,…,wm），其中w为标准正交基，即 ，
;
将数据从n维降到p维，则新的坐标系为（w1,w2,w3,…,wp），样本点 在p维坐标系里的表示为
；而若要恢复数据，则
；
需要注意的是X是n*m的矩阵，W是m*p的矩阵，此处均采用的是列向量；
则目标函数为：
则优化求解过程如下所示：
由于优化的是W，所以我们加上约束条件 ，利用拉格朗日乘子法如下所示：
对W求导令其为0，我们可以得到以下等式：
于是原问题也转化为了特征分解求X的协方差矩阵的特征向量的问题，由此证明两个问题是等价的。这里我们也是取前p个特征值最大对应的特征向量组成W。
当然，不难发现，从本质上说特征向量其实表示的是数据不变的特征方向，而特征值表示数据在这个方向变 化的幅度，也就是该方向上的方差；而协方差矩阵我们选择 p 个最大的特征值，也就是保留了变化最显著的 p 个方向，这样我们可以最大程度地保留数据的重要信息，同时去除一些不 必要的，次要的特征，从而达到降噪的目的。
四.PCA用于人脸识别
PCA用于人脸识别主要是靠它的降维矩阵，通过设置降维的维度选取不同数量的特征向量组成投影矩阵。人脸识别的大致过程为：
（1）首先将数据集按一定比例划分为训练集和测试集；
（2）将人脸图片按列向量读入成一个矩阵；
（3）用PCA从训练集中提取一定数量的特征向量组成投影矩阵；
（4）用测试集的人脸土拍你进行测试，即将其用得到的特征矩阵进行投影，用分类器对其进行分类，与正确标签进行比较正确与否，从而计算人脸识别的正确率。
值得注意的是：我们一般用KNN（K临近分类器）进行分类。
详细代码可见：Machine_Learning/code/PCA at main · breakthrougher/Machine_Learning (github.com)
----- 以上为本人学习机器学习这门课总结出的一些知识点和手敲的代码，有错误或者疑问可以评论区交流，欢迎指正！！！
标签：特征向量,方差,--,矩阵,协方差,降维,坐标轴,PCA From： https://blog.csdn.net/m0_74194861/article/details/140327191