K-L变换基本的形式原理和PCA是相同的，但K-L变换能够考虑到不同的分类信息，实现有监督的特征提取。

K-L坐标系的产生矩阵为：

$$  E[xx^T]  $$

而PCA使用协方差矩阵（可以认为是去掉均值信息）：

$$  \Sigma = E[ (x-\mu)(x-\mu)^T ]  $$

当样本的类别已知时，使用总类内离散度矩阵：

$$  S_w = \sum_{i=1}^c P_i \Sigma_i  $$