Solución analítica para estimaciones de coeficientes de regresión lineal

9

Estoy tratando de entender la notación matricial y trabajando con vectores y matrices.

En este momento me gustaría entender cómo se calcula el vector de estimaciones de coeficientes en regresión múltiple. $\hat{\beta}$

La ecuación básica parece ser

\frac{d}{d β} (y - X β)^{'} (y - X β) = 0 .

$\frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>.$

Ahora, ¿cómo resolvería un vector $\beta$ aquí?

Editar : Espera, estoy atascado. Estoy aquí ahora y no sé cómo continuar:

$\frac{d}{d{\beta}} \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right) ' \left( \left(\begin{smallmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{smallmatrix}\right) - \left(\begin{smallmatrix} 1 & x_{11} & x_{12} & \dots & x_{1p} \\ 1 & x_{21} & x_{22} & \dots & x_{2p} \\ \vdots & & & & \vdots \\ 1 & x_{n1} & x_{n2} & \dots & x_{np} \\ \end{smallmatrix}\right) \left(\begin{smallmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{smallmatrix}\right) \right)$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \begin{pmatrix} 1 & x_{i1} & x_{i2} & \dots & x_{ip} \end{pmatrix} \begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{pmatrix} \right)^2$

Con para todo lo que la intercepción: $x_{i0} = 1$ $i$

$\frac{d}{d{\beta}} \sum_{i=1}^n \left( y_i - \sum_{k=0}^p x_{ik} \beta_k \right)^2$

¿Me puede apuntar en la dirección correcta?

regression

— Alexander Engelhardt
fuente

@GaBorgulya, gracias por la edición, no lo sabía smallmatrix, por lo que no trató de editar, ya que la solución habitual de romper la fórmula en varias líneas no habría funcionado aquí.

— mpiktas

12

Tenemos

$\frac{d}{d\beta} (y - X \beta)' (y - X\beta) = -2 X' (y - X \beta)$ .

Se puede mostrar escribiendo la ecuación explícitamente con componentes. Por ejemplo, escriba lugar de . Luego tome derivados con respecto a , , ..., y apile todo para obtener la respuesta. Para una ilustración rápida y fácil, puede comenzar con . $(\beta_{1}, \ldots, \beta_{p})'$ $\beta$ $\beta_{1}$ $\beta_{2}$ $\beta_{p}$ $p = 2$

Con experiencia, uno desarrolla reglas generales, algunas de las cuales se dan, por ejemplo, en ese documento .

Editar para guiar la parte agregada de la pregunta

Con , tenemos $p = 2$

$(y - X \beta)'(y - X \beta) = (y_1 - x_{11} \beta_1 - x_{12} \beta_2)^2 + (y_2 - x_{21}\beta_1 - x_{22} \beta_2)^2$

La derivada con respecto a es $\beta_1$

$-2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Del mismo modo, la derivada con respecto a es $\beta_2$

$-2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2)$

Por lo tanto, la derivada con respecto a es $\beta = (\beta_1, \beta_2)'$

$\left( \begin{array}{c} -2x_{11}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{21}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \\ -2x_{12}(y_1 - x_{11} \beta_1 - x_{12} \beta_2)-2x_{22}(y_2 - x_{21}\beta_1 - x_{22} \beta_2) \end{array} \right)$

Ahora, observe que puede reescribir la última expresión como

$-2\left( \begin{array}{cc} x_{11} & x_{21} \\ x_{12} & x_{22} \end{array} \right)\left( \begin{array}{c} y_{1} - x_{11}\beta_{1} - x_{12}\beta_2 \\ y_{2} - x_{21}\beta_{1} - x_{22}\beta_2 \end{array} \right) = -2 X' (y - X \beta)$

Por supuesto, todo se hace de la misma manera para una más grande . $p$

— ocram
fuente

Impresionante, estaba buscando exactamente ese tipo de pdf. ¡Gracias una tonelada!

— Alexander Engelhardt

Oh, pensé que podría hacerlo yo mismo ahora, pero no puedo. ¿Me puede decir si mis pasos son correctos o si debería tomar "otra forma" de resolver esto?

— Alexander Engelhardt

@Alexx Hardt: Mi primera ecuación en la edición es la misma que su última ecuación en el caso particular donde p = 2. Entonces, puede imitar mis cálculos para los componentes 3, 4, ..., p.

— ocram

Gracias de nuevo :) Creo que realmente usaré las tres sugerencias. Estoy construyendo un .pdf que explica y resume el álgebra de matriz de estadísticas básicas, porque de alguna manera nunca quise aprenderlo cuando lo aprendí en mis clases. Espero que resolverlo de tres maneras diferentes me ayude a entenderlo mejor.

— Alexander Engelhardt

Oh, pero esto es para p = 2 yn = 2, ¿verdad? Lo escribiré con n = 3, creo.

— Alexander Engelhardt

13

También puede usar fórmulas del libro de cocina Matrix . Tenemos

(y - X β)^{'} (y - X β) = y^{'} y - β^{'} X^{'} y - y^{'} X β + β^{'} X^{'} X β

$(y-X\beta)'(y-X\beta)=y'y-\beta'X'y-y'X\beta+\beta'X'X\beta$

Ahora tome derivados de cada término. Es posible que desee notar que . La derivada del término con respecto a es cero. El plazo restante $\beta'X'y=y'X\beta$ $y'y$ $\beta$

β^{'} X^{'} X β - 2 y^{'} X β

$\beta'X'X\beta-2y'X\beta$

es de forma de función

f (x) = x^{'} A x + b^{'} x,

$f(x)=x'Ax+b'x,$

en la fórmula (88) en el libro de la página 11, con , y . La derivada se da en la fórmula (89): $x=\beta$ $A=X'X$ $b=-2X'y$

\frac{\partial f}{\partial x} = (A + A^{'}) x + b

$\frac{\partial f}{\partial x}=(A+A')x+b$

entonces

\frac{\partial}{\partial β} (y - X β)^{'} (y - X β) = (X^{'} X + (X^{'} X)^{'}) β - 2 X^{'} y

$\frac{\partial}{\partial \beta}(y-X\beta)'(y-X\beta)=(X'X+(X'X)')\beta-2X'y$

Ahora desde obtenemos la solución deseada: $(X'X)'=X'X$

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— mpiktas
fuente

+1 mpiktas: su solución es más ingeniosa que la mía y creo que debería usarse en situaciones prácticas más complejas.

— ocram

1

@ocram, gracias. No lo llamaría ingenioso, es una aplicación estándar de fórmulas existentes. Solo necesita conocer las fórmulas :)

— mpiktas

8

Aquí hay una técnica para minimizar la suma de cuadrados en la regresión que en realidad tiene aplicaciones a configuraciones más generales y que encuentro útil.

Intentemos evitar el cálculo de matriz de vectores por completo.

Supongamos que estamos interesados en minimizar donde , y . Suponemos por simplicidad que y .

E = (y - X β)^{T} (y - X β) = ‖ y - X β ‖_{2}^{2},

$\newcommand{\err}{\mathcal{E}}\newcommand{\my}{\mathbf{y}}\newcommand{\mX}{\mathbf{X}}\newcommand{\bhat}{\hat{\beta}}\newcommand{\reals}{\mathbb{R}} \err = (\my - \mX \beta)^T (\my - \mX \beta) = \|\my - \mX \beta\|_2^2 \> ,$

y \in R^{n}

$\my \in \reals^n$

X \in R^{n \times p}

$\mX \in \reals^{n\times p}$

β \in R^{p}

$\beta \in \reals^p$

p \leq n

$p \leq n$

r a n k (X) = p

$\mathrm{rank}(\mX) = p$

Para cualquier , obtenemos $\bhat \in \reals^p$

E = ‖ y - X \hat{β} + X \hat{β} - X β ‖_{2}^{2} = ‖ y - X \hat{β} ‖_{2}^{2} + ‖ X (β - \hat{β}) ‖_{2}^{2} - 2 (β - \hat{β})^{T} X^{T} (y - X \hat{β}) .

$\err = \|\my - \mX \bhat + \mX \bhat - \mX \beta\|_2^2 = \|\my - \mX \bhat\|_2^2 + \|\mX(\beta-\bhat)\|_2^2 - 2(\beta - \bhat)^T \mX^T (\my - \mX \bhat) \>.$

Si podemos elegir (¡encontrar!) Un vector tal que el último término en el lado derecho sea cero para cada , entonces estaríamos , ya que eso implicaría que . $\bhat$ $\beta$ $\min_\beta \err \geq \|\my - \mX \bhat\|_2^2$

Pero, para todos si y solo si y esta última ecuación es verdadera si y solo si . Entonces, se minimiza tomando . $(\beta - \bhat)^T \mX^T (\my - \mX \bhat) = 0$ $\beta$ $\mX^T (\my - \mX \bhat) = 0$ $\mX^T \mX \bhat = \mX^T \my$ $\err$ $\bhat = (\mX^T \mX)^{-1} \mX^T \my$

Si bien esto puede parecer un "truco" para evitar el cálculo, en realidad tiene una aplicación más amplia y hay algo de geometría interesante en juego.

Un ejemplo en el que esta técnica hace que una derivación sea mucho más simple que cualquier enfoque de cálculo matriz-vector es cuando generalizamos al caso de la matriz. Deje , y . Supongamos que deseamos minimizar sobre toda la matriz de parámetros . Aquí es una matriz de covarianza. $\newcommand{\mY}{\mathbf{Y}}\newcommand{\mB}{\mathbf{B}}\mY \in \reals^{n \times p}$ $\mX \in \reals^{n \times q}$ $\mB \in \reals^{q \times p}$

E = t r ((Y - X B) Σ^{- 1} (Y - X B)^{T})

$\err = \mathrm{tr}( (\mY - \mX \mB) \Sigma^{-1} (\mY - \mX \mB)^T )$

B

$\mB$

Σ

$\Sigma$

Un enfoque completamente análogo a lo anterior establece rápidamente que se alcanza el mínimo de tomando Es decir, en un entorno de regresión donde la respuesta es un vector con covarianza y las observaciones son independientes, la estimación de MCO se logra haciendo regresiones lineales separadas en los componentes de la respuesta. $\err$

\hat{B} = (X^{T} X)^{- 1} X^{T} Y .

$\hat{\mB} = (\mX^T \mX)^{-1} \mX^T \mY \>.$

Σ

$\Sigma$

p

$p$

— cardenal
fuente

Afortunadamente, las reglas del foro permiten agregar +1 a cada respuesta. ¡Gracias por la educación, muchachos!

— DWin

@DWin, ¿querías publicar esto debajo de los comentarios a la pregunta?

— cardenal

Supongo que podría haberlo hecho. Revisé secuencialmente la pregunta y luego todas las respuestas (después de que el procesamiento de MathML dejó de moverse) y encontré que cada una de las respuestas era informativa. Acabo de dejar mi comentario en el tuyo porque fue donde dejé de leer.

— DWin

1

@DWin, sí, el renderizado es un poco original. Pensé que podría haber pensado en el comentario para otra publicación ya que esta no tiene votos (arriba o abajo) y, por lo tanto, el comentario parecía estar fuera de lugar. Salud.

— cardenal

1

@cardinal +1, truco útil. Esta pregunta resultó ser una muy buena referencia.

— mpiktas

6

Una forma que puede ayudarlo a comprender es no usar álgebra matricial y diferenciar con respecto a cada componente, y luego "almacenar" los resultados en un vector de columna. Entonces tenemos:

\frac{\partial}{\partial β_{k}} \sum_{i = 1}^{N} {(Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})}^{2} = 0

$\frac{\partial}{\partial \beta_{k}}\sum_{i=1}^{N}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{2}=0$

Ahora tiene de estas ecuaciones, una para cada beta. Esta es una aplicación simple de la regla de la cadena: $p$

\sum_{i = 1}^{N} 2 {(Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j})}^{1} (\frac{\partial}{\partial β_{k}} [Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j}]) = 0

$\sum_{i=1}^{N}2\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)^{1}\left(\frac{\partial}{\partial \beta_{k}}\left[Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right]\right)=0$

- 2 \sum_{i = 1}^{N} X_{i k} (Y_{i} - \sum_{j = 1}^{p} X_{i j} β_{j}) = 0

$-2\sum_{i=1}^{N}X_{ik}\left(Y_{i}-\sum_{j=1}^{p}X_{ij}\beta_{j}\right)=0$

Ahora podemos reescribir la suma dentro del paréntesis como Entonces obtienes: $\sum_{j=1}^{p}X_{ij}\beta_{j}=\bf{x}_{i}^{T}\boldsymbol{\beta}$

\sum_{i = 1}^{N} X_{i k} Y_{i} - \sum_{i = 1}^{N} X_{i k} x_{i}^{T} β = 0

$\sum_{i=1}^{N}X_{ik}Y_{i}-\sum_{i=1}^{N}X_{ik}\bf{x}_{i}^{T}\boldsymbol{\beta}=0$

Ahora tenemos de estas ecuaciones, y las "apilaremos" en un vector de columna. Observe cómo es el único término que depende de , por lo que podemos apilar esto en el vector y obtenemos: $p$ $X_{ik}$ $k$ $\bf{x}_{i}$

\sum_{i = 1}^{N} x_{i} Y_{i} = \sum_{i = 1}^{N} x_{i} x_{i}^{T} β

$\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\boldsymbol{\beta}$

Ahora podemos tomar la beta fuera de la suma (pero debemos permanecer en RHS de la suma), y luego tomar la inversión:

{(\sum_{i = 1}^{N} x_{i} x_{i}^{T})}^{- 1} \sum_{i = 1}^{N} x_{i} Y_{i} = β

$\left(\sum_{i=1}^{N}\bf{x}_{i}\bf{x}_{i}^{T}\right)^{-1}\sum_{i=1}^{N}\bf{x}_{i}\rm{Y}_{i}=\boldsymbol{\beta}$

— probabilidadislogica
fuente