Linealidad de PCA


35

PCA se considera un procedimiento lineal, sin embargo:

PAGSdoUNA(X)PAGSdoUNA(X1)+PAGSdoUNA(X2)+...+PAGSdoUNA(Xnorte),

donde . Esto quiere decir que los vectores propios obtenidos por los PCA en las matrices de datos no suman igual a los vectores propios obtenidos por PCA en la suma de las matrices de datos . Pero no es la definición de una función lineal que:X=X1+X2+...+XnorteXyoXyoF

F(X+y)=F(X)+F(y)?

Entonces, ¿por qué la PCA se considera "lineal" si no satisface esta condición básica de linealidad?


Una vez escribí u oí (perdón, no recuerdo dónde ni cuándo), que PCA "pertenece a la familia de procedimientos lineales" porque se basa en dependencias lineales entre variables. Utiliza la matriz de correlación de Pearson y busca combinaciones lineales de mayor varianza.
Łukasz Deryło

44
La naturaleza de esta pregunta podría volverse un poco más clara al contemplar la configuración mucho más simple y rutinaria de la regresión de mínimos cuadrados ordinarios: este es el arquetipo de un procedimiento estadístico lineal. Sin embargo, el proceso de estimar los coeficientes de mínimos cuadrados es una función manifiestamente no lineal de la matriz de datos , como lo demuestra la fórmula . (Observe que es una función lineal del vector de respuesta .)β = ( X ' X ) - 1 X ' y YXβ^=(XX)-1Xyy
whuber

44
Puede valer la pena recordar que f (x) = x + 1 también es una "función lineal" ... pero no satisface lo que acaba de decir ... lo que debería explicar algo.
Mehrdad

Eso es porque(X1+X2)T(X1+X2)X1TX1+X2TX2
Gabriel Romon

Respuestas:


39

Cuando decimos que PCA es un método lineal, nos referimos al mapeo reductor de dimensionalidad desde el espacio de alta dimensión a un espacio de menor dimensión . En PCA, este mapeo viene dado por la multiplicación de por la matriz de vectores propios de PCA y por lo tanto es manifiestamente lineal (la multiplicación de la matriz es lineal):Esto está en contraste con los métodos no lineales de reducción de dimensionalidad , donde el mapeo de reducción de dimensionalidad puede ser no lineal.R p R k x z = f ( x ) = Vx .f:xzRpRkx

z=F(X)=VX.

Por otro lado, los vectores propios superiores se calculan a partir de la matriz de datos usando lo que usted llamó en su pregunta: y este mapeo es ciertamente no lineal: implica el cálculo de vectores propios de la matriz de covarianza, que es un procedimiento no lineal . (Como un ejemplo trivial, multiplicar por aumenta la matriz de covarianza por , pero sus vectores propios permanecen igual ya que están normalizados para tener unidades de longitud).VR p × k XR n × p P C A ( ) V = P C A ( X ) , X 2 4kVRpags×kXRnorte×pagsPAGSdoUNA()

V=PAGSdoUNA(X),
X24 4

Que obtuve 35 votos a favor para esta respuesta trivial es bastante ridículo (y se debe principalmente a que este hilo está en las Preguntas de la Red Caliente por un tiempo).
ameba dice Reinstate Monica

5

"Lineal" puede significar muchas cosas, y no se emplea exclusivamente de manera formal.

PCA a menudo no se define como una función en el sentido formal y, por lo tanto, no se espera que cumpla los requisitos de una función lineal cuando se describe como tal. Se describe con mayor frecuencia, como dijiste, como un procedimiento y, a veces, como un algoritmo (aunque no me gusta esta última opción). A menudo se dice que es lineal de una manera informal, no bien definida.

PCA puede considerarse lineal, por ejemplo, en el siguiente sentido. Pertenece a una familia de métodos que consideran que cada variable se puede aproximar mediante una función donde e es un conjunto de variables con algunas características deseables. propiedad. En el caso de PCA, es un conjunto de variables independientes que pueden reducirse en cardinalidad con una pérdida mínima en la precisión de aproximación en un sentido específico. Esas son propiedades deseables en numerosos entornos.X if Y ( α ) α R k Y k YXyo

XyoFY(α)
αRkYkY

Ahora, por PCA, cada se limita a la forma que es, una combinación lineal de las variables en .f Y ( α ) = k i = 1 α i Y i YFyo

FY(α)=yo=1kαyoYyo
Y

Dada esta restricción, ofrece un procedimiento para encontrar los valores óptimos (en cierto sentido) de y los . Es decir, PCA solo considera funciones lineales como hipótesis plausibles. En este sentido, creo que puede describirse legítimamente como "lineal".α i jYαyoj


3

PCA proporciona / es una transformación lineal.

METROPAGSdoUNA(X1+X2)METRO(X1+X2)=METRO(X1)+METRO(X2)

PAGSdoUNA(X1+X2)PAGSdoUNA(X1)PAGSdoUNA(X2)


Como comparación, un ejemplo muy simple de un proceso que usa una transformación lineal pero no es una transformación lineal en sí misma:

re(v)v[X,y]=[1,0 0]

re([1,1])[0 0,2]

y

re([0 0,1])[-1,0 0]

pero

re([1,1]+[0 0,1]=[1,2])[-0,78,2,09][-1,2]

Esta duplicación del ángulo, que implica el cálculo de ángulos, no es lineal, y es análoga a la afirmación de la ameba, que el cálculo del vector propio no es lineal.

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.