¿Cómo derivar el estimador de mínimos cuadrados para la regresión lineal múltiple?

En el sencillo lineal caso de regresión $y=\beta_0+\beta_1x$ , puede derivar el estimador de mínimos cuadrados β 1 = Σ ( x i - ˉ x ) ( y i - ˉ y )$\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}$ de tal manera que usted no tiene que saber β 0para estimar β 1$\hat\beta_0$$\hat\beta_1$

Supongamos que tengo $y=\beta_1x_1+\beta_2x_2$ , ¿cómo derivo β 1 sin estimar β 2 ? ¿O esto no es posible?$\hat\beta_1$$\hat\beta_2$

La derivación en notación matricial

A partir de $y= Xb +\epsilon$ , que realmente es lo mismo que

$\begin{bmatrix} y_{1} \\ y_{2} \\ \vdots \\ y_{N} \end{bmatrix} = \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1K} \\ x_{21} & x_{22} & \cdots & x_{2K} \\ \vdots & \ddots & \ddots & \vdots \\ x_{N1} & x_{N2} & \cdots & x_{NK} \end{bmatrix} * \begin{bmatrix} b_{1} \\ b_{2} \\ \vdots \\ b_{K} \end{bmatrix} + \begin{bmatrix} \epsilon_{1} \\ \epsilon_{2} \\ \vdots \\ \epsilon_{N} \end{bmatrix}$

todo se reduce a minimizar :$e'e$

$\epsilon'\epsilon = \begin{bmatrix} e_{1} & e_{2} & \cdots & e_{N} \\ \end{bmatrix} \begin{bmatrix} e_{1} \\ e_{2} \\ \vdots \\ e_{N} \end{bmatrix} = \sum_{i=1}^{N}e_{i}^{2}$

Entonces, minimizar nos da:$e'e'$

e ′ e = ( y - X b ) ′ ( y - X b $min_{b}$ $e'e = (y-Xb)'(y-Xb)$

e ′ e = y ′ y - 2 b ′ X ′ y + b ′ X ′ X $min_{b}$ $e'e = y'y - 2b'X'y + b'X'Xb$

$\frac{\partial(e'e)}{\partial b} = -2X'y + 2X'Xb \stackrel{!}{=} 0$

$X'Xb=X'y$

$b=(X'X)^{-1}X'y$

Una última cosa matemática, la condición de segundo orden para un mínimo requiere que la matriz sea ​​positiva definida. Este requisito se cumple en caso de que X tenga rango completo.$X'X$$X$

La derivación más precisa que atraviesa todos los pasos en un departamento mayor se puede encontrar en http://economictheoryblog.com/2015/02/19/ols_estimator/

Es posible estimar solo un coeficiente en una regresión múltiple sin estimar los otros.

La estimación de se obtiene eliminando los efectos de x 2 de las otras variables y luego regresando los residuos de y contra los residuos de x 1 . Esto se explica e ilustra ¿Cómo controla exactamente uno para otras variables? y ¿Cómo normalizar (a) el coeficiente de regresión? . La belleza de este enfoque es que no requiere cálculo, ni álgebra lineal, puede visualizarse usando solo geometría bidimensional, es numéricamente estable y explota solo una idea fundamental de regresión múltiple: la de sacar (o "controlar para" ) los efectos de una sola variable.$\beta_1$$x_2$$y$$x_1$

---

En el presente caso, la regresión múltiple se puede hacer usando tres pasos de regresión ordinarios:

1. Regrese en x 2 (¡sin un término constante!). Deje que el ajuste sea y = α y , 2 x 2 + δ . La estimación es α y , 2 = ∑ i y i x 2 $y$$x_2$$y = \alpha_{y,2}x_2 + \delta$ Por lo tanto, los residuos sonδ=y-αy,2x2. Geométricamente,δes lo que queda deydespués derestarsu proyección sobrex2.

   $$\alpha_{y,2} = \frac{\sum_i y_i x_{2i}}{\sum_i x_{2i}^2}.$$ $$\delta = y - \alpha_{y,2}x_2.$$ $\delta$$y$$x_2$

2. Regresión en x 2 (sin un término constante). Deje que el ajuste sea x 1 = α 1 , 2 x 2 + γ . La estimación es α 1 , 2 = ∑ i x 1 i x 2 $x_1$$x_2$$x_1 = \alpha_{1,2}x_2 + \gamma$Los residuos sonγ=x1-α1,2x2. Geométricamente,γes lo que queda dex1después derestarsu proyección sobrex2.

   $$\alpha_{1,2} = \frac{\sum_i x_{1i} x_{2i}}{\sum_i x_{2i}^2}.$$ $$\gamma = x_1 - \alpha_{1,2}x_2.$$ $\gamma$$x_1$$x_2$

3. Regrese en γ (sin un término constante). La estimación es β 1 = Σ i δ i γ $\delta$$\gamma$El ajuste seráδ= β 1γ+ε. Geométricamente, beta 1es el componente deδ(que representayconx2sacado) en laγdirección (que representax1conx2sacado).

   $$\hat\beta_1 = \frac{\sum_i \delta_i \gamma_i}{\sum_i \gamma_i^2}.$$ $\delta = \hat\beta_1 \gamma + \varepsilon$$\hat\beta_1$$\delta$$y$$x_2$$\gamma$$x_1$$x_2$

Observe que no se ha estimado. $\beta_2$ Es fácilmente se puede recuperar de lo que se ha obtenido hasta el momento (tal como β 0 en el caso de regresión ordinaria se obtiene fácilmente a partir de la estimación de la pendiente β 1 ). Los ε son los residuos para la regresión bivariada de y en x 1 y x 2 .$\hat\beta_0$$\hat\beta_1$$\varepsilon$$y$$x_1$$x_2$

El paralelo con la regresión ordinaria es fuerte: los pasos (1) y (2) son análogos de restar las medias en la fórmula habitual. Si deja que sea ​​un vector de unos, de hecho recuperará la fórmula habitual.$x_2$

Este generaliza en la manera obvia de regresión con más de dos variables: para estimar β 1 , regresión y y x 1 por separado contra todas las otras variables, a continuación, regresar a sus residuos de uno contra el otro. En ese momento, ninguno de los otros coeficientes en la regresión múltiple de y aún se ha estimado.$\hat\beta_1$$y$$x_1$$y$

The ordinary least squares estimate of $\beta$ is a linear function of the response variable. Simply put, the OLS estimate of the coefficients, the $\beta$'s, can be written using only the dependent variable ($Y_i$'s) and the independent variables ($X_{ki}$'s).

$(\beta_0, \beta_1, ...,\beta_k)$ in a multiple regression model,

$$Y_i = \beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+\epsilon_i$$

where $\epsilon_i \overset{iid}{\sim} N(0,\sigma^2)$ for $i=1,...,n$. The design matrix $\mathbf{X}$ is a $n\times k$ matrix where each column contains the $n$ observations of the $k^{th}$ dependent variable $X_k$. You can find many explanations and derivations here of the formula used to calculate the estimated coefficients $\boldsymbol{\hat{\beta}}=(\hat{\beta}_0, \hat{\beta}_1, ..., \hat{\beta}_k)$, which is

$$\boldsymbol{\hat{\beta}}=(\mathbf{X}^\prime \mathbf{X})^{-1}\mathbf{X}^\prime \mathbf{Y}$$

assuming that the inverse $(\mathbf{X}^\prime \mathbf{X})^{-1}$ exists. The estimated coefficients are functions of the data, not of the other estimated coefficients.

One small minor note on theory vs. practice. Mathematically $\beta_0, \beta_1, \beta_2 ... \beta_n$ can be estimated with the following formula:

$$\hat{\beta} = (X'X)^{-1} X'Y$$

where $X$ is the original input data and $Y$ is the variable that we want to estimate. This follows from minimizing the error. I will proove this before making a small practical point.

Let $e_i$ be the error the linear regression makes at point $i$. Then:

$$e_i = y_i - \hat{y_i}$$

The total squared error we make is now:

$$\sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y_i})^2$$

Because we have a linear model we know that:

$$\hat{y_i} = \beta_0 + \beta_1 x_{1,i} + \beta_2 x_{2,i} + ... + \beta_n x_{n,i}$$

Which can be rewritten in matrix notation as:

$$\hat{Y} = X\beta$$

We know that

$$\sum_{i=1}^n e_i^2 = E'E$$

We want to minimize the total square error, such that the following expression should be as small as possible

$$E'E = (Y-\hat{Y})' (Y-\hat{Y})$$

This is equal to:

$$E'E = (Y-X\beta)' (Y-X\beta)$$

The rewriting might seem confusing but it follows from linear algebra. Notice that the matrices behave similar to variables when we are multiplying them in some regards.

We want to find the values of $\beta$ such that this expression is as small as possible. We will need to differentiate and set the derivative equal to zero. We use the chain rule here.

$$\frac{dE'E}{d\beta} = - 2 X'Y + 2 X'X\beta = 0$$

This gives:

$$X'X\beta = X'Y$$

Such that finally:

$$\beta = (X'X)^{-1} X'Y$$

So mathematically we seem to have found a solution. There is one problem though, and that is that $(X'X)^{-1}$ is very hard to calculate if the matrix $X$ is very very large. This might give numerical accuracy issues. Another way to find the optimal values for $\beta$ in this situation is to use a gradient descent type of method. The function that we want to optimize is unbounded and convex so we would also use a gradient method in practice if need be.

A simple derivation can be done just by using the geometric interpretation of LR.

Linear regression can be interpreted as the projection of $Y$ onto the column space $X$. Thus, the error, $\hat{\epsilon}$ is orthogonal to the column space of $X$.

Therefore, the inner product between $X'$ and the error must be 0, i.e.,

$<X', y-X\hat{\beta}> = 0$

$X'y - X'X\hat{\beta} = 0$

$X'y = X'X\hat{\beta}$

Which implies that,

$(X'X)^{-1}X'y = \hat{\beta}$.

Now the same can be done by:

(1) Projecting $Y$ onto $X_2$ (error $\delta = Y-X_2 \hat{D}$), $\hat{D} = (X_2'X_2)^{-1}X_2'y$,

(2) Projecting $X_1$ onto $X_2$ (error $\gamma = X_1 - X_2 \hat{G}$), $\hat{G} = (X_1'X_1)^{-1}X_1X_2$,

and finally,

(3) Projecting $\delta$ onto $\gamma$, $\hat{\beta}_1$