¿Cómo pueden los principales componentes principales retener el poder predictivo en una variable dependiente (o incluso conducir a mejores predicciones)?

Supongamos que yo estoy corriendo una regresión . ¿Por qué al seleccionar los principales componentes principales de , el modelo conserva su poder predictivo en ?$Y \sim X$$k$$X$$Y$

Entiendo que desde el punto de vista de reducción de dimensionalidad / selección de características, si son los vectores propios de la matriz de covarianza de con valores propios superiores , entonces son componentes principales superiores con máximas variaciones. Por lo tanto, podemos reducir el número de características a y retener la mayor parte del poder predictivo, según tengo entendido.$v_1, v_2, ... v_k$$X$$k$$Xv_1, Xv_2 ... Xv_k$$k$$k$

Pero, ¿por qué los principales componentes retienen el poder predictivo en ?$k$$Y$

Si hablamos de un general MCO , no hay ninguna razón para sugerir que si la función Z i tiene varianza máxima, entonces Z i tiene el mayor poder predictivo Y .$Y \sim Z$$Z_i$$Z_i$$Y$

Actualización después de ver comentarios: creo que he visto toneladas de ejemplos de uso de PCA para la reducción de dimensionalidad. He estado asumiendo que eso significa que las dimensiones que nos quedan tienen el mayor poder predictivo. De lo contrario, ¿cuál es el punto de reducción de dimensionalidad?

De hecho, no hay garantía de que los principales componentes principales (PC) tengan más poder predictivo que los de baja varianza.

Se pueden encontrar ejemplos del mundo real donde este no es el caso, y es fácil construir un ejemplo artificial donde, por ejemplo, solo la PC más pequeña tiene alguna relación con .$y$

Este tema se discutió mucho en nuestro foro, y en ausencia (desafortunada) de un hilo claramente canónico, solo puedo dar varios enlaces que juntos brindan varios ejemplos de la vida real y artificiales:

• Componentes de baja varianza en PCA, ¿son realmente solo ruido? ¿Hay alguna forma de probarlo?
• Ejemplos de PCA donde las PC con baja varianza son "útiles"
• ¿Cómo puede un componente principal posterior ser un predictor significativo en una regresión, cuando una PC anterior no lo es?
• ¿Cómo utilizar el análisis de componentes principales para seleccionar variables para la regresión?

Y el mismo tema, pero en el contexto de la clasificación:

• ¿Qué puede causar que la PCA empeore los resultados de un clasificador?
• El primer componente principal no separa las clases, pero otras PC sí; ¿Cómo es eso posible?

Sin embargo, en la práctica, los mejores ordenadores a menudo no tienen a menudo más poder predictivo que las de baja varianza, y por otra parte, utilizando sólo los mejores PCs puede rendir mejor poder predictivo de utilizar todos los PC.

En situaciones con muchos predictores y relativamente pocos puntos de datos n (por ejemplo, cuando p ≈ n o incluso p > n ), la regresión ordinaria se ajustará en exceso y debe ser regularizada. La regresión de componentes principales (PCR) puede verse como una forma de regularizar la regresión y tenderá a dar resultados superiores. Además, está estrechamente relacionado con la regresión de crestas, que es una forma estándar de regularización por contracción. Mientras que el uso de la regresión de cresta suele ser una mejor idea, la PCR a menudo se comportará razonablemente bien. Ver ¿Por qué funciona la contracción? para la discusión general sobre el equilibrio de sesgo-varianza y sobre cómo la contracción puede ser beneficiosa.$p$$n$$p \approx n$$p>n$

En cierto modo, se puede decir que tanto la regresión de cresta como la PCR suponen que la mayoría de la información sobre está contenida en las grandes PC de X , y esta suposición a menudo se justifica.$y$$X$

Vea la respuesta posterior de @cbeleites (+1) para una discusión sobre por qué esta suposición a menudo se justifica (y también este hilo más reciente: ¿la reducción de la dimensionalidad casi siempre es útil para la clasificación? Para algunos comentarios adicionales).

Hastie y col. en Los elementos del aprendizaje estadístico (sección 3.4.1) comentan esto en el contexto de la regresión de crestas:

$\mathbf X$

Vea mis respuestas en los siguientes hilos para más detalles:

• ¿Cuál es la ventaja de reducir la dimensionalidad de los predictores para propósitos de regresión?
• Relación entre la regresión de cresta y la regresión de PCA
• ¿Tiene sentido combinar PCA y LDA?

Línea de fondo

Para problemas de alta dimensión, el preprocesamiento con PCA (lo que significa reducir la dimensionalidad y mantener solo las mejores PC) puede verse como una forma de regularización y a menudo mejorará los resultados de cualquier análisis posterior, ya sea una regresión o un método de clasificación. Pero no hay garantía de que esto funcione, y a menudo hay mejores enfoques de regularización.

Además de las respuestas que ya se centran en las propiedades matemáticas, me gustaría comentar desde un punto de vista experimental.

Resumen: los procesos de generación de datos a menudo se optimizan de manera que los datos sean adecuados para la regresión de componentes principales (PCR) o mínimos cuadrados parciales (PLS).

Soy químico analítico. Cuando diseño un experimento / método para medir (regresión o clasificación) algo, utilizo mi conocimiento sobre la aplicación y los instrumentos disponibles para obtener datos que llevan una buena relación señal / ruido con respecto a la tarea en cuestión. Eso significa que los datos que genero están diseñados para tener una gran covarianza con la propiedad de interés.
Esto conduce a una estructura de variación donde la variación interesante es grande, y las PC posteriores llevarán solo el ruido (pequeño).

También preferiría métodos que produzcan información redundante sobre la tarea en cuestión, para tener resultados más sólidos o más precisos. PCA concentra canales de medición redundantes en una PC, que luego tiene mucha variación y, por lo tanto, es una de las primeras PC.

Si existen factores de confusión conocidos que conducirán a una gran variación que no está correlacionada con la propiedad de interés, generalmente intentaré corregirlos tanto como sea posible durante el preprocesamiento de los datos: en muchos casos, estos factores de confusión son conocidos naturaleza física o química, y este conocimiento sugiere formas apropiadas de corregir los factores de confusión. Por ejemplo, mido los espectros de Raman bajo el microscopio. Su intensidad depende de la intensidad de la luz láser, así como de qué tan bien puedo enfocar el microscopio. Ambos conducen a cambios que pueden corregirse normalizando, por ejemplo, a una señal que se sabe que es constante.
Por lo tanto, los grandes contribuyentes de la varianza que no contribuyen a la solución pueden haber sido eliminados antes de que los datos ingresen a la PCA, dejando una variación mayormente significativa en las primeras PC.

Por último, pero no menos importante, aquí hay un poco de una profecía autocumplida: obviamente, la PCR se realiza con datos donde la suposición de que la variación que transporta la información es grande tiene sentido. Si, por ejemplo, creo que podría haber factores de confusión importantes que no sé cómo corregir, inmediatamente elegiría PLS, que es mejor para ignorar las grandes contribuciones que no ayudan con la tarea de predicción.

La PCA a veces se usa para corregir problemas causados ​​por variables colineales, de modo que la mayor parte de la variación en el espacio X es capturada por los componentes principales K.

Pero, por supuesto, este problema matemático no es lo mismo que capturar la mayor parte de la variación en el espacio X, Y de tal manera que la variación inexplicable sea lo más pequeña posible.

Los mínimos cuadrados parciales intentan hacer esto en el último sentido:

http://en.wikipedia.org/wiki/Partial_least_squares_regression

Como ha señalado otro, no existe un vínculo directo entre los principales vectores propios y el poder predictivo. Al elegir la parte superior y usarla como base, está reteniendo algo de energía superior (o variación a lo largo de esos ejes).

Puede ser que el eje que explica la mayor variación sea realmente útil para la predicción, pero en general este no es el caso.

Déjame ofrecerte una explicación simple.

PCA equivale a eliminar ciertas funciones de forma intuitiva. Esto disminuye las posibilidades de sobreajuste.