¿Cómo realizar la regresión ortogonal (mínimos cuadrados totales) a través de PCA?

Siempre uso lm()en R para realizar una regresión lineal de en . Esa función devuelve un coeficiente tal que$y$$x$$\beta$

$$y = \beta x.$$

Hoy aprendí sobre mínimos cuadrados totales y esa princomp()función (análisis de componentes principales, PCA) se puede utilizar para realizarla. Debería ser bueno para mí (más preciso). He hecho algunas pruebas usando princomp(), como:

r <- princomp( ~ x + y)

Mi problema es: ¿cómo interpretar sus resultados? ¿Cómo puedo obtener el coeficiente de regresión? Por "coeficiente" me refiero al número que tengo que usar para multiplicar el valor de para dar un número cercano a .$\beta$$x$$y$

Mínimos cuadrados ordinarios versus mínimos cuadrados totales

Consideremos primero el caso más simple de una sola variable predictiva (independiente) . Por simplicidad, deje que x e y estén centrados, es decir, la intersección siempre es cero. La diferencia entre la regresión OLS estándar y la regresión TLS "ortogonal" se muestra claramente en esta figura (adaptada por mí) de la respuesta más popular en el hilo más popular en PCA:$x$$x$$y$

MCO se ajusta a la ecuación minimizando distancias al cuadrado entre los valores observados de Y y los valores predichos Y . TLS se ajusta a la misma ecuación al minimizar las distancias al cuadrado entre los puntos ( x , y ) y su proyección en la línea. En este caso más simple, la línea TLS es simplemente el primer componente principal de los datos 2D. Para encontrar β , haga PCA en los puntos , es decir, construya la matriz de covarianza y encuentre su primer vector propio ; entonces$y=\beta x$$y$$\hat y$$(x,y)$$\beta$2 × 2 Σ v = ( v x , v y ) β = v y / v $(x,y)$$2\times 2$$\boldsymbol \Sigma$$\mathbf v = (v_x, v_y)$$\beta = v_y/v_x$.

En Matlab:

 v = pca([x y]);    //# x and y are centered column vectors
 beta = v(2,1)/v(1,1);

En R:

 v <- prcomp(cbind(x,y))$rotation
 beta <- v[2,1]/v[1,1]

Por cierto, esto dará paso a la pendiente correcta incluso si y no se centraron (porque las funciones integradas de PCA realizar automáticamente el centrado). Para recuperar la intersección, calcule .y β 0 = ˉ y - β ˉ $x$$y$$\beta_0 = \bar y - \beta \bar x$

OLS vs. TLS, regresión múltiple

Dada una variable dependiente y muchas variables independientes (nuevamente, todas centradas para simplificar), la regresión se ajusta a una ecuaciónOLS hace el ajuste al minimizar los errores al cuadrado entre los valores observados de y los valores predichos . TLS hace el ajuste minimizando las distancias al cuadrado entre los puntos observados y los puntos más cercanos en el plano de regresión / hiperplano.x i y = β 1 x 1 + … + β p x p . y y ( x , y ) ∈ R p + $y$$x_i$

$$y= \beta_1 x_1 + \ldots + \beta_p x_p.$$ $y$$\hat y$$(\mathbf x, y)\in\mathbb R^{p+1}$

¡Tenga en cuenta que ya no hay una "línea de regresión"! La ecuación anterior especifica un hiperplano : es un plano 2D si hay dos predictores, un hiperplano 3D si hay tres predictores, etc. Por lo tanto, la solución anterior no funciona: no podemos obtener la solución TLS tomando solo la primera PC (que es una linea). Aún así, la solución se puede obtener fácilmente a través de PCA.

Como antes, PCA se realiza en puntos . Esta rendimientos vectores propios en columnas de . Los primeros vectores propios definen un hiperplano dimensional que necesitamos; el último (número ) vector propio es ortogonal a él. La cuestión es cómo transformar la base de dada por el primer vectores propios en los coeficientes.p + 1 V p p H p + 1 v p + 1 H p $(\mathbf x, y)$$p+1$$\mathbf V$$p$$p$$\mathcal H$$p+1$$\mathbf v_{p+1}$$\mathcal H$$p$$\boldsymbol \beta$

Observe que si establecemos para todo y solo , entonces , es decir, el vector se encuentra en el hiperplano . Por otro lado, sabemos que es ortogonal a él. Es decir, su producto punto debe ser cero:i ≠ k x k = 1 y = β k ( 0 , ... , 1 , ... , β k ) ∈ H H v p + 1 = ( v 1 , ... , v p + 1$x_i=0$$i \ne k$$x_k=1$$\hat y=\beta_k$

$$(0,\ldots, 1, \ldots, \beta_k) \in \mathcal H$$ $\mathcal H$v k + β k v p + 1 = 0 ⇒ β k = - v k / v p + 1 $$\mathbf v_{p+1}=(v_1, \ldots, v_{p+1}) \:\bot\: \mathcal H$$ $$v_k + \beta_k v_{p+1}=0 \Rightarrow \beta_k = -v_k/v_{p+1}.$$

En Matlab:

 v = pca([X y]);    //# X is a centered n-times-p matrix, y is n-times-1 column vector
 beta = -v(1:end-1,end)/v(end,end);

En R:

 v <- prcomp(cbind(X,y))$rotation
 beta <- -v[-ncol(v),ncol(v)] / v[ncol(v),ncol(v)]

Nuevamente, esto producirá pendientes correctas incluso si e no estuvieran centradas (porque las funciones PCA integradas realizan automáticamente el centrado). Para recuperar la intersección, calcule .y β 0 = ˉ y - ˉ x$x$$y$$\beta_0 = \bar y - \bar {\mathbf x} \boldsymbol \beta$

Como comprobación de cordura, observe que esta solución coincide con la anterior en caso de que solo haya un único predictor . De hecho, entonces el espacio es 2D, y por lo tanto, dado que el primer vector propio PCA es ortogonal al segundo (último), .( x , y ) v ( 1 ) y / v ( 1 ) x = - v ( 2 ) x / v ( 2 )$x$$(x,y)$$v^{(1)}_y/v^{(1)}_x=-v^{(2)}_x/v^{(2)}_y$

Solución de forma cerrada para TLS

Sorprendentemente, resulta que hay una ecuación de forma cerrada para . El siguiente argumento está tomado del libro de Sabine van Huffel "Los mínimos cuadrados totales" (sección 2.3.2).$\boldsymbol \beta$

Sea y las matrices de datos centradas. El último vector propio de PCA es un vector propio de la matriz de covarianza de con un valor propio . Si es un vector propio, entonces también lo es . Anotando la ecuación del vector propio: $\mathbf X$$\mathbf y$$\mathbf v_{p+1}$$[\mathbf X\: \mathbf y]$$\sigma^2_{p+1}$$-\mathbf v_{p+1}/v_{p+1} = (\boldsymbol \beta\:\: -1)^\top$

$$\left(\begin{array}{c}\mathbf X^\top \mathbf X & \mathbf X^\top \mathbf y\\ \mathbf y^\top \mathbf X & \mathbf y^\top \mathbf y\end{array}\right) \left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right) = \sigma^2_{p+1}\left(\begin{array}{c}\boldsymbol \beta \\ -1\end{array}\right),$$ y calculando el producto a la izquierda, inmediatamente obtenemos que recuerda fuertemente la conocida expresión OLS $$\boldsymbol \beta_\mathrm{TLS} = (\mathbf X^\top \mathbf X - \sigma^2_{p+1}\mathbf I)^{-1} \mathbf X^\top \mathbf y,$$ $$\boldsymbol \beta_\mathrm{OLS} = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y.$$

Regresión múltiple multivariante

La misma fórmula puede generalizarse al caso multivariante, pero incluso para definir qué hace TLS multivariante, requeriría algo de álgebra. Ver Wikipedia en TLS . La regresión OLS multivariada es equivalente a un grupo de regresiones OLS univariadas para cada variable dependiente, pero en el caso TLS no es así.

Basado en la ingenua implementación de GNU Octave que se encuentra aquí , algo como esto podría funcionar (grano de sal, es tarde).

tls <- function(A, b){

  n <- ncol(A)
  C <- cbind(A, b)

  V <- svd(C)$v
  VAB <- V[1:n, (n+1):ncol(V)]
  VBB <- V[(n+1):nrow(V), (n+1):ncol(V)]
  return(-VAB/VBB)
}

princompestá ejecutando el análisis de componentes principales en lugar de la regresión total de mínimos cuadrados. Hasta donde yo sé, no hay función R ni paquete que haga TLS; a lo sumo hay regresión de Deming en MethComp .
Sin embargo, trate esto como una sugerencia de que lo más probable es que no valga la pena.