¿La PCA todavía se realiza mediante la descomposición propia de la matriz de covarianza cuando la dimensionalidad es mayor que el número de observaciones?

Tengo una matriz , que contiene mis muestras en el espacio -dimensional. Ahora deseo codificar mi propio análisis de componentes principales (PCA) en Matlab. Debo decir a primero. $20\times100$ $X$ $N=20$ $D=100$ $X$ $X_0$

Leí en el código de alguien que en tales escenarios donde tenemos más dimensiones que observaciones, ya no descomponemos eigen la matriz de covarianza de . En su lugar, se descomponen Eigen- . ¿Por qué es correcto? $X_0$ $\frac{1}{N-1}X_0X_0^T$

La matriz de covarianza normal es de tamaño , cada elemento del cual nos dice la covarianza entre dos dimensiones. Para mí, ni siquiera tiene las dimensiones correctas. Es matriz, entonces, ¿qué nos diría? ¿Covarianza entre dos observaciones? $D\times D$ $\frac{1}{N-1}X_0X_0^T$ $N\times N$

pca

— Sibbs Gambling
fuente

La respuesta a su pregunta es en la circunstancia de que, como se desprende de la presentación de su tarea, no necesita la matriz de covarianza de las columnas por sí misma. Solo lo quería como un camino para obtener PC. ¿Derecho? Pero los mismos resultados de PCA se pueden obtener a través de eigen de X'Xy XX'(así como svd de Xy X'). Lo que se llama "cargas" en un caso se llamará "puntajes de PC" en el otro y viceversa. Debido a que ambas son solo coordenadas ( ver, por ejemplo ) y los ejes, las "dimensiones principales" son las mismas.

— ttnphns

(cont.) Si es así y usted es libre de elegir qué descomponer, es aconsejable descomponer lo que se debe hacer más rápido / más eficientemente. Cuando n<pse necesita menos RAM y menos tiempo para descomponerse, XX'ya que es de menor tamaño.

— ttnphns

@ttnphns Gran explicación. Ahora veo el punto. Sin embargo, todavía tengo problemas para pasar de eigen XX'a PC. ¿Podría, por favor, mostrarme brevemente cómo? Dado que las PC son solo vectores propios de la matriz de covarianza, intenté moverme de un origen XX'a otro de la matriz de covarianza X'X, pero fallé.

— Sibbs Gambling

Tengo que ir. Quizás @amoeba (que es mucho más ágil en álgebra que yo) u otro lector buscará aquí pronto y lo ayudará. Salud.

— ttnphns

@ttnphns: Hecho :)

— ameba

La matriz de covarianza es de tamaño y está dada por $D\times D$

C = \frac{1}{N - 1} X_{0}^{⊤} X_{0}^{} .

$\mathbf C = \frac{1}{N-1}\mathbf X_0^\top \mathbf X^\phantom\top_0.$

La matriz de la que está hablando no es, por supuesto, una matriz de covarianza; se llama matriz de Gram y tiene un tamaño : $N\times N$

G = \frac{1}{N - 1} X_{0}^{} X_{0}^{⊤} .

$\mathbf G = \frac{1}{N-1}\mathbf X^\phantom\top_0 \mathbf X_0^\top.$

El análisis de componentes principales (PCA) se puede implementar a través de la descomposición propia de cualquiera de estas matrices. Estas son solo dos formas diferentes de calcular la misma cosa.

La forma más fácil y útil de ver esto es usar la descomposición de valores singulares de la matriz de datos . Al conectar esto a las expresiones para y , obtenemos: $\mathbf X = \mathbf {USV}^\top$ $\mathbf C$ $\mathbf G$

\begin{aligned} C & = V \frac{S^{2}}{N - 1} V^{⊤} \\ G & = U \frac{S^{2}}{N - 1} U^{⊤} . \end{aligned}

$\begin{align}\mathbf C&=\mathbf V\frac{\mathbf S^2}{N-1}\mathbf V^\top\\\mathbf G&=\mathbf U\frac{\mathbf S^2}{N-1}\mathbf U^\top.\end{align}$

Los vectores propios de la matriz de covarianza son direcciones principales. Las proyecciones de los datos en estos vectores propios son componentes principales; estas proyecciones están dadas por . Principales componentes escalados para unidad de longitud se dan por . Como puede ver, los vectores propios de la matriz de Gram son exactamente estos componentes principales escalados. Y los valores propios de y coinciden. $\mathbf V$ $\mathbf {US}$ $\mathbf U$ $\mathbf C$ $\mathbf G$

$N<D$ $D$ $D$ $N<D$

$\frac{1}{N}XX^\top$ $\frac{1}{N}X^\top X$

— ameba
fuente

¡Gran respuesta! ¡No sabía que tenía nombre! ¡Muchas gracias! Ahora estoy seguro de usarlo para acelerar mi cálculo.

— Sibbs Gambling

U

$U$

S / (n - 1)

$S/(n-1)$

V

$V$

U^{⊤} X

$U^\top X$

U

$U$

Esta respuesta es más clara que muchas exposiciones que he visto en libros. Gracias.

— usεr11852

Con fines puramente de referencia: creo que el artículo de Technometrics de 1969 de IJ Good " Algunas aplicaciones de la descomposición singular de una matriz " es uno de los primeros en hacer referencia a esto por completo.

— usεr11852

@MattWenham Precisamente.

— ameba