PCA en correlación o covarianza: ¿tiene sentido PCA en correlación? [cerrado]

En el análisis de componentes principales (PCA), uno puede elegir la matriz de covarianza o la matriz de correlación para encontrar los componentes (de sus respectivos vectores propios). Estos dan resultados diferentes (cargas de PC y puntajes), porque los vectores propios entre ambas matrices no son iguales. Tengo entendido que esto se debe al hecho de que un vector de datos sin procesar y su estandarización no pueden relacionarse a través de una transformación ortogonal. Matemáticamente, las matrices similares (es decir, relacionadas por transformación ortogonal) tienen los mismos valores propios, pero no necesariamente los mismos vectores propios.$X$$Z$

Esto plantea algunas dificultades en mi mente:

1. ¿Tiene sentido realmente PCA, si puede obtener dos respuestas diferentes para el mismo conjunto de datos inicial, ambas tratando de lograr lo mismo (= encontrar direcciones de máxima varianza)?

2. Cuando se utiliza el enfoque de matriz de correlación, cada variable se estandariza (escala) por su propia desviación estándar individual, antes de calcular las PC. ¿Cómo, entonces, todavía tiene sentido encontrar las direcciones de variación máxima si los datos ya han sido escalados / comprimidos de manera diferente de antemano? Sé que esa PCA basada en correlación es muy conveniente (las variables estandarizadas no tienen dimensiones, por lo que se pueden agregar sus combinaciones lineales; otras ventajas también se basan en el pragmatismo), pero ¿es correcto?

Me parece que la PCA basada en covarianza es la única verdaderamente correcta (incluso cuando las variaciones de las variables difieren mucho), y que siempre que no se pueda usar esta versión, tampoco se debe usar PCA basada en correlación.

Sé que existe este hilo: PCA en correlación o covarianza? - pero parece centrarse solo en encontrar una solución pragmática, que puede o no ser algebraicamente correcta.

Espero que estas respuestas a sus dos preguntas calmen su preocupación:

1. Una matriz de correlación es una matriz de covarianza de los datos estandarizados (es decir, no solo centrados sino también reescalados); es decir, una matriz de covarianza (como si) de otro conjunto de datos diferente. Por lo tanto, es natural y no debería molestarle que los resultados difieran.
2. Sí, tiene sentido encontrar las direcciones de varianza máxima con datos estandarizados: son las direcciones de, por así decirlo, "correlación", no "covarianza"; es decir, después del efecto de las variaciones desiguales, de las variables originales, en la forma de la nube de datos multivariados se retiró.

Siguiente texto e imágenes añadidas por @whuber (se lo agradezco. Además, vea mi comentario a continuación)

Aquí hay un ejemplo bidimensional que muestra por qué todavía tiene sentido ubicar los ejes principales de datos estandarizados (que se muestran a la derecha). Tenga en cuenta que en el diagrama de la derecha la nube todavía tiene una "forma" a pesar de que las variaciones a lo largo de los ejes de coordenadas ahora son exactamente iguales (a 1.0). Del mismo modo, en dimensiones más altas, la nube de puntos estandarizada tendrá una forma no esférica, aunque las variaciones a lo largo de todos los ejes sean exactamente iguales (a 1.0). Los ejes principales (con sus valores propios correspondientes) describen esa forma. Otra forma de entender esto es notar que todo el cambio de escala y desplazamiento que se produce al estandarizar las variables ocurre solo en las direcciones de los ejes de coordenadas y no en las direcciones principales.

Lo que está sucediendo aquí es geométricamente tan intuitivo y claro que sería difícil caracterizar esto como una "operación de caja negra": por el contrario, la estandarización y la PCA son algunas de las cosas más básicas y rutinarias que hacemos con los datos en orden para entenderlos

Continuado por @ttnphns

¿Cuándo preferiría hacer PCA (o análisis factorial u otro tipo de análisis similar) en correlaciones (es decir, en variables estandarizadas en z) en lugar de hacerlo en covarianzas (es decir, en variables centradas)?

1. Cuando las variables son diferentes unidades de medida. Eso está claro.
2. Cuando uno quiere que el análisis refleje asociaciones lineales justas y únicas . Pearson r no es solo la covarianza entre las variables no escaladas (varianza = 1); Es repentinamente la medida de la fuerza de la relación lineal, mientras que el coeficiente de covarianza habitual es receptivo a la relación lineal y monotónica.
3. Cuando se quiere que las asociaciones reflejen una desviación relativa (de la media) en lugar de una desviación cruda. La correlación se basa en distribuciones, sus márgenes, mientras que la covarianza se basa en la escala de medición original. Si tuviera que analizar los factores de los perfiles psicopatológicos de los pacientes según lo evaluado por los psiquiatras en algún cuestionario clínico que consiste en elementos de tipo Likert, preferiría las covarianzas. Porque no se espera que los profesionales distorsionen la escala de calificación intrapsíquicamente. Si, por otro lado, tuviera que analizar los autorretratos de los pacientes con el mismo cuestionario, probablemente elegiría las correlaciones. Debido a que se espera que la evaluación de los legos sea relativa a "otras personas", "la mayoría", "desviación permisible" lupa que "encoge" o "estira" la escala de calificación para uno.

Hablando desde un punto de vista práctico, posiblemente impopular aquí, si tiene datos medidos en diferentes escalas, entonces vaya con la correlación ('escala de UV' si es un quimiométrico), pero si las variables están en la misma escala y el tamaño de ellas importa (por ejemplo, con datos espectroscópicos), entonces la covarianza (centrando solo los datos) tiene más sentido. PCA es un método dependiente de la escala y también la transformación de registros puede ayudar con datos muy sesgados.

En mi humilde opinión basada en 20 años de aplicación práctica de la quimiometría, tienes que experimentar un poco y ver qué funciona mejor para tu tipo de datos. Al final del día, debe poder reproducir sus resultados e intentar demostrar la previsibilidad de sus conclusiones. La forma de llegar a menudo es un caso de prueba y error, pero lo que importa es que lo que haces está documentado y es reproducible.

$x_i$$s^2$$(x_1/s_1)+(x_2/s_2)=(x_1+x_2)/s$$x_1+x_2$$s_1\not =s_2$grados Parece poco útil entonces maximizar la varianza de su combinación lineal. En ese caso, PCA ofrece una solución para un conjunto diferente de datos, mediante el cual cada variable se escala de manera diferente. Si luego no se estandariza (cuando se usa corr_PCA), entonces eso puede ser correcto y necesario; pero si solo toma la solución corr_PCA sin procesar tal como está y se detiene allí, obtendría una solución matemática, pero no relacionada con los datos físicos. Como la no estandarización posterior parece obligatoria como mínimo (es decir, 'estirar' los ejes por las desviaciones estándar inversas), cov_PCA podría haberse utilizado para comenzar. Si todavía estás leyendo, ¡estoy impresionado! Por ahora, termino citando el libro de Jolliffe, p. 42, que es la parte que me preocupa:"Sin embargo, no debe olvidarse que las PC de matriz de correlación, cuando se vuelven a expresar en términos de las variables originales, siguen siendo funciones lineales de x que maximizan la varianza con respecto a las variables estandarizadas y no con respecto a las variables originales". Si cree que estoy interpretando esto o sus implicaciones erróneamente, este extracto puede ser un buen punto de enfoque para una discusión más a fondo.