前言
作为数模小白，看了很多讲解新概念新模型的文章，这些文章往往要么讲的很浅不讲原理只讲应用，让人知其然不知其所以然。要么讲的很深小白看不懂，同时总是忽略关键部分，经常性引入陌生概念让初学者疑惑，因此有了本文，任何能熟练掌握线性代数知识且逻辑思维能力尚可的人都可以理解，而无需其他数模知识，涉及任何新概念都会先讲解后使用
所以我就打算把自己学完之后的笔记整理出来，其中每一篇文章中可能含有直接从其他文章中搜集过来的公式，因为这些文章原本只是我自己的笔记，我懒得敲公式，只是写完之后想着整理出来，弘扬一下互联网精神，于是就有了这个系列。
主成分分析（PCA）
主成分分析其实就是数据降维，基本思想是设法将原来众多的具有一定相关性的多个指标，重新组合成一组新的、较少的、互不相关的综合指标。从而在损失信息量较小情形下，将指标量大大缩减。
PCA的步骤如下：
- 标准化（白化），即数据预处理
标准化首先应该消除量纲的影响，让用m表示的数据和用cm表示的数据能显示出同样的方差，通常利用公式
来进行数据标准化
标准化后不同指标的数据期望都是0，方差均为1，方面进行不同指标之间的运算，也消除了单位大小导致的不同方差。
- 计算相关矩阵R（这一步其实就是协方差分析）
首先，新引入一个概念——协方差矩阵，对于矩阵A而言，协方差矩阵为A’A，则显然协方差矩阵是实对称矩阵，那么协方差矩阵的特征值满足
进而有
我们取单位特征向量则有(Ax)’(Ax)=Lambda,而Ax的模长是每个向量在x方向的投影值，则Lambda=(Ax)’(Ax)就是所有点在x上投影的平方和，最大特征值对应的特征向量的方向就是投影平方和最大的方向。
因此协方差矩阵相似对角化所用的正交相似因子Q描述了一个新的坐标系，这个坐标系的每个由A’A特征向量指明的方向上矩阵A所描述的点集的投影的平方和就是与该向量对应的特征值。
而主成分分析其实就是经过一个用协方差矩阵的正交变换因子做正交变换后把旧指标转换为相互正交的新指标（即新坐标轴）的过程，每个新指标就是一个主成分，而所谓的投影平方和，其实就是原始数据点（每个数据点代表了一个“结构体”，一个“状态向量”）在这个坐标轴方向的方差，这个值越大说明原始数据在新指标下对应的数值的方差越大，说明这各新指标是个重要的新指标。因此协方差矩阵较大特征值对应的特征向量（即主成分）就是更重要的主成分，因此我们用
来衡量主成分的重要性并取足够多的几个主成分，若方差贡献率最大的m个主成分的累计贡献率达到足够大的阈值（一般取85%为阈值），那么这m个主成分就可以用来代表原本p个指标，m个主成分的列向量蕴含了大部分原本p个指标列向量综合的信息。然后用线性变换Q（以谁为新基向量组则右乘谁，方向没饭）使得X转化为F=XQ，F中就是在新坐标各数据的坐标。（这很合理，被淘汰的新坐标都是方差较小的，即各大结构体的这一指标都基本相等，那自然没必要关注，同时每个新指标都是由原本多指标变换过来的，他为常数其实暗示了原本指标之间满足某个线性方程，淘汰掉他其实就是淘汰掉了冗余指标之间的相关性）
设X为标准化后的数据矩阵，则X相关矩阵R。若X是n*p的矩阵，则矩阵R是p*p的矩阵，
（i,j∈[1，p]), rij表示X矩阵中第i列和第j列的相关关系，其值在-1到1之间，显然rij=rji，rij绝对值越接近于1则指标i与指标j的线性相关性越强，rij=1时两指标完全正线性相关 ，rij=-1时两指标完全负线性相关。
一般而言我们有
则根据协方差矩阵的性质我们发现相关矩阵R其实就是X的协方差矩阵，设使R相似对角化的正交变换因子为Q，则F=X·Q所描述的点就是在主成分坐标系中各结构体的新坐标。
TRANSLATE with
- 中文（简体）
- 中文（繁体）
- 丹麦语
- 乌克兰语
- 乌尔都语
- 亚美尼亚语
- 俄语
- 保加利亚语
- 克罗地亚语
- 冰岛语
- 加泰罗尼亚语
- 匈牙利语
- 卡纳达语
- 印地语
- 印尼语
- 古吉拉特语
- 哈萨克语
- 土耳其语
- 威尔士语
- 孟加拉语
- 尼泊尔语
- 布尔语(南非荷兰语)
- 希伯来语
- 希腊语
- 库尔德语
- 德语
- 意大利语
- 拉脱维亚语
- 挪威语
- 捷克语
- 斯洛伐克语
- 斯洛文尼亚语
- 旁遮普语
- 日语
- 普什图语
- 毛利语
- 法语
- 波兰语
- 波斯语
- 泰卢固语
- 泰米尔语
- 泰语
- 海地克里奥尔语
- 爱沙尼亚语
- 瑞典语
- 立陶宛语
- 缅甸语
- 罗马尼亚语
- 老挝语
- 芬兰语
- 英语
- 荷兰语
- 萨摩亚语
- 葡萄牙语
- 西班牙语
- 越南语
- 阿塞拜疆语
- 阿姆哈拉语
- 阿尔巴尼亚语
- 阿拉伯语
- 韩语
- 马尔加什语
- 马拉地语
- 马拉雅拉姆语
- 马来语
- 马耳他语
- 高棉语