¿Por qué solo hay componentes principales para datos si el número de dimensiones es ?

En PCA, cuando el número de dimensiones es mayor (o incluso igual) al número de muestras , ¿por qué tendrá como máximo vectores propios distintos de cero? En otras palabras, el rango de la matriz de covarianza entre las dimensiones es . $d$ $N$ $N-1$ $d\ge N$ $N-1$

Ejemplo: sus muestras son imágenes vectorizadas, que son de dimensión , pero solo tiene imágenes. $d = 640\times480 = 307\,200$ $N=10$

pca dimensionality-reduction eigenvalues

— GrokingPCA
fuente

Imagine puntos en 2D o en 3D. ¿Cuál es la dimensionalidad de la variedad que ocupan estos puntos? La respuesta es : dos puntos siempre se encuentran en una línea (y una línea es unidimensional). La dimensionalidad exacta del espacio no importa (siempre que sea mayor que ), sus puntos solo ocupan un subespacio unidimensional. Por lo tanto, la varianza solo se "extiende" en este subespacio, es decir, a lo largo de 1 dimensión. Esto sigue siendo cierto para cualquier .

N = 2

$N=2$

N - 1 = 1

$N-1=1$

N

$N$

N

$N$

— ameba dice Reinstate Monica

Agregaría solo una precisión adicional al comentario de @ amoeba. El punto de origen también importa. Entonces, si tiene N = 2 + origen, el número de dimensiones es como máximo 2 (no 1). Sin embargo, en PCA generalmente centramos los datos, lo que significa que colocamos el origen dentro del espacio de la nube de datos, luego se consume una dimensión y la respuesta será "N-1", como lo muestra la ameba.

— ttnphns

Esto es lo que me confunde. No es el centrado per se lo que destruye la dimensión, ¿verdad? Si tiene exactamente N muestras y N dimensiones, entonces, incluso después de centrar, ¿todavía tiene N vectores propios?

— GrokingPCA

¿Por qué? Está centrando lo que destruye una dimensión. El centrado (por media aritmética) "mueve" el origen desde "afuera" al espacio "atravesado" por los datos. Con el ejemplo de N = 2. 2 puntos + algún origen generalmente abarcan un plano. Cuando centra estos datos, coloca el origen en una línea recta a medio camino entre los 2 puntos. Entonces, los datos ahora abarcan solo la línea.

— ttnphns

Euclides ya lo sabía hace 2300 años: dos puntos determinan una línea, tres puntos determinan un plano. Generalizando, puntos determinan un espacio euclidiano dimensional .

N

$N$

N - 1

$N-1$

— whuber

Considere lo que hace PCA. En pocas palabras, PCA (como se ejecuta normalmente) crea un nuevo sistema de coordenadas al:

desplazando el origen al centroide de sus datos,
aprieta y / o estira los ejes para que tengan la misma longitud, y
Rota tus ejes en una nueva orientación.

(Para obtener más detalles, consulte este excelente hilo CV: dar sentido al análisis de componentes principales, vectores propios y valores propios ). Sin embargo, no solo gira sus ejes de la manera anterior. Su nuevo (el primer componente principal) está orientado en la dirección de variación máxima de sus datos. El segundo componente principal está orientado en la dirección de la siguiente mayor cantidad de variación que es ortogonal al primer componente principal . Los componentes principales restantes se forman de la misma manera. $X_1$

X = [\begin{array}{ccc} 1 & 1 & 1 \\ 2 & 2 & 2 \end{array}]

$X = \bigg[ \begin{array}{ccc} 1 &1 &1 \\ 2 &2 &2 \end{array} \bigg]$

ingrese la descripción de la imagen aquí

$(1.5, 1.5, 1.5)$ $(0,0,0)$ $(3,3,3)$ $(0,0,3)$ $(3,3,0)$ $(0,3,0)$ $(3,0,3)$

$N=2$ $N-1 = 1$

— gung - Restablece a Monica
fuente