理解PCA

PCA

PCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。

参考 PCA的数学原理(转)

基变换理解PCA降维

基变换

可以理解为:如果我们有M个N维向量,想将其变换为新空间里的M个R维向量,那么需要找到R个基按行组成矩阵P,然后将原始向量按列组成矩阵X,两矩阵的乘积PX就是降维结果,其中PX的第m列为X中第m列变换后的结果。

PCA求解过程推导

PCA要解决的问题就是:找到含有R个向量(R < 原始数据维度N)的一组基,并且尽量使得信息丢失最少。

信息丢失最少,即降维后的数据尽量保留原来数据之间的区分性。区分性在数学上可以用方差来表示;同时,不同的基尽量保持不相关。

PCA推导


0 Comments