¿Por qué los puntajes de los componentes principales no están correlacionados?

La suposición $\mathbf A$ es una matriz de datos centrados en la media. La matriz $\mathbf S=\text{cov}(\mathbf A)$ es $m\times m$ , tiene $m$ valores propios distintos y vectores propios $\mathbf s_1$ , $\mathbf s_2$ ... $\mathbf s_m$ , que son ortogonales.

El -ésimo componente principal (algunas personas los llaman "puntajes") es el vector . En otras palabras, es una combinación lineal de las columnas de , donde los coeficientes son los componentes de la -ésimo vector propio de . $i$ $\mathbf z_i = \mathbf A\mathbf s_i$ $\mathbf A$ $i$ $\mathbf S$

No entiendo por qué $\mathbf z_i$ y $\mathbf z_j$ no están correlacionadas para todo $i\neq j$ . ¿Se deduce del hecho de que $\mathbf s_i$ y $\mathbf s_j$ son ortogonales? Seguramente no, porque puedo encontrar fácilmente una matriz $\mathbf B$ y un par de vectores ortogonales modo que y estén correlacionados. $\mathbf x, \mathbf y$ $\mathbf B\mathbf x$ $\mathbf B\mathbf y$

correlation pca linear-algebra

— Ernest A
fuente

Una respuesta relacionada stats.stackexchange.com/a/110546/3277 .

— ttnphns

z_{i}^{⊤} z_{j} = (A s_{i})^{⊤} (A s_{j}) = s_{i}^{⊤} A^{⊤} A s_{j} = (n - 1) s_{i}^{⊤} S s_{j} = (n - 1) s_{i} λ_{j} s_{j} = (n - 1) λ_{j} s_{i} s_{j} = 0.

$\mathbf z_i^\top \mathbf z_j = (\mathbf A\mathbf s_i)^\top (\mathbf A\mathbf s_j) = \mathbf s_i^\top \mathbf A^\top \mathbf A \mathbf s_j = (n-1) \mathbf s_i^\top \mathbf S \mathbf s_j = (n-1) \mathbf s_i \lambda_j \mathbf s_j = (n-1) \lambda_j \mathbf s_i \mathbf s_j = 0.$

— ameba
fuente

Matemáticas: qué hermoso lenguaje.

— Néstor

Esto significa que

son ortogonales. No correlacionado significa que esto debe ser cierto:

. Supongo que de alguna manera

, y luego

también implica que no están correlacionados.

z_{i}

$\mathbf z_i$

z_{j}

$\mathbf z_j$

(z_{i} - {\bar{z}}_{i})^{⊤} (z_{j} - {\bar{z}}_{j}) = 0

$(\mathbf z_i-\bar z_i)^\top(\mathbf z_j-\bar z_j)=0$

{\bar{z}}_{i} = {\bar{z}}_{j} = 0

$\bar z_i=\bar z_j=0$

z_{i}^{⊤} z_{j} = 0

$\mathbf z_i^\top \mathbf z_j=0$

— Ernest A

Buen punto, @Ernest. Las medias son de hecho cero, porque los datos se han centrado en la media (según su suposición). Entonces todas las proyecciones deben tener media cero.

— ameba

@Jubbles porque

, por lo tanto

S = cov (A) = \frac{1}{n - 1} A^{⊤} A

$S = \text{cov}(\mathbf A) = \frac{1}{n-1}\mathbf A^\top \mathbf A$

A^{⊤} A = (n - 1) S

$\mathbf A^\top \mathbf A = (n-1) \mathbf S$

— Ernest A

@Ernest, no pude resistirme al proporcionar una respuesta que no contiene texto, pero quizás debería agregar que la razón subyacente por la cual las PC no están correlacionadas es que su matriz de covarianza está dada por

en la base de vectores propios, y en esta base

convierte en diagonal - Ese es todo el punto de la descomposición propia.

S

$S$

S

$S$

— ameba