¿Distribución del error de suma de cuadrados para regresión lineal?

Sé que la distribución de la varianza muestral Es por el hecho de que puede expresarse en forma de matriz, (donde A: simétrica), y podría expresarse nuevamente en: (donde Q: ortonormal, D: matriz diagonal).

\sum \frac{(X_{i} - \bar{X})^{2}}{σ^{2}} \sim χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{\sigma^2}\sim \chi^2_{(n-1)}$

\sum \frac{(X_{i} - \bar{X})^{2}}{n - 1} \sim \frac{σ^{2}}{n - 1} χ_{(n - 1)}^{2}

$\sum\frac{(X_i-\bar{X})^2}{n-1}\sim \frac{\sigma^2}{n-1}\chi^2_{(n-1)}$

(X - \bar{X})^{2}

$(X-\bar{X})^2$

x A x^{'}

$xAx'$

x^{'} Q D Q^{'} x

$x'QDQ'x$

¿Qué pasa con $\sum(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2$ , dada la suposición $(Y - \beta_0 - \beta_1X)\sim \mathcal{N}(0, \sigma^2)$ ?

Calculo

\sum \frac{(Y_{i} - {\hat{β}}_{0} - {\hat{β}}_{1} X_{i})^{2}}{σ^{2}} \sim χ_{(n - 2)}^{2} .

$\sum\frac{(Y_i-\hat{\beta}_0-\hat{\beta}_1X_i)^2}{\sigma^2}\sim \chi^2_{(n-2)}.$

Pero no tengo idea de cómo demostrarlo o mostrarlo.

¿Se distribuye exactamente como $\chi^2_{(n-2)}$ ?

— KH Kim
fuente

¿Es esta tarea? Si es así, utilice la etiqueta de tarea.

— MånsT

No, no es. Creo que es cierto porque después de todo, la suma de los cuadrados es un cuadrado de combinación lineal de X constantes de Y. ¿Pero es? ¡Se agradecería una prueba simple como esta! math.stackexchange.com/questions/47009/…

— KH Kim

Las descripciones que da tanto en la pregunta como en su comentario están un poco confusas. ¿Ha escrito cuál debe ser su matriz para la varianza muestral? ¿Eso te ayuda a ver cómo generalizar?

A

$A$

— cardenal

Corregido para D. Creo que el punto crítico es que el elemento diagonal de D debería ser algo así como (1,1,1, ..., 1,0,0). ¿Hay alguna forma de demostrarlo? o ¿Hay alguna forma de mostrar que donde sse / ,

χ^{2} (n) = χ^{2} (n - 2) + χ^{2} (1) + χ^{2} (1)

$\chi^2(n)=\chi^2(n-2)+\chi^2(1)+\chi^2(1)$

σ^{2} \sim χ^{2} (n - 2)

$\sigma^2 \sim \chi^2(n-2)$

\sum e_{i}^{2} / σ^{2} \sim χ^{2} (n)

$\sum{e_i^2}/\sigma^2 \sim \chi^2(n)$

— KH Kim

Podemos probar esto para un caso más general de variables utilizando la "matriz de sombreros" y algunas de sus propiedades útiles. Estos resultados suelen ser mucho más difíciles de establecer en términos no matriciales debido al uso de la descomposición espectral. $p$

Ahora en la versión matricial de mínimos cuadrados, la matriz del sombrero es donde tiene filas y columnas (columna de unos para ). Asuma el rango completo de la columna por conveniencia; de lo contrario, podría reemplazar por el rango de la columna de a continuación. Podemos escribir los valores ajustados como o en notación matricial . Usando esto, podemos escribir la suma de cuadrados como: $H=X(X^TX)^{-1}X^T$ $X$ $n$ $p+1$ $\beta_0$ $p+1$ $X$ $\hat{Y}_i=\sum_{j=1}^nH_{ij}Y_j$ $\hat{Y}=HY$

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{(Y - \hat{Y})^{T} (Y - \hat{Y})}{σ^{2}} = \frac{(Y - H Y)^{T} (Y - H Y)}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{(Y-\hat{Y})^T(Y-\hat{Y})}{\sigma^2}=\frac{(Y-HY)^T(Y-HY)}{\sigma^2}$

= \frac{Y^{T} (I_{n} - H) Y}{σ^{2}}

$=\frac{Y^T(I_n-H)Y}{\sigma^2}$

Donde es una matriz de identidad de orden . El último paso se deduce del hecho de que es una matriz idepotente, como $I_n$ $n$ $H$

H^{2} = [X (X^{T} X)^{- 1} X^{T}] [X (X^{T} X)^{- 1} X^{T}] = X (X^{T} X)^{- 1} X^{T} = H = H H^{T} = H^{T} H

$H^2=[X(X^TX)^{-1}X^T][X(X^TX)^{-1}X^T]=X(X^TX)^{-1}X^T=H=HH^T=H^TH$

Ahora, una propiedad clara de las matrices idepotentes es que todos sus valores propios deben ser iguales a cero o uno. Dejando que denote un vector propio normalizado de con valor propio , podemos probar esto de la siguiente manera: $e$ $H$ $l$

H e = l e ⟹ H (H e) = H (l e)

$He=le\implies H(He)=H(le)$

L H S = H^{2} e = H e = l e R H S = l H e = l^{2} e

$LHS=H^2e=He=le\;\;\; RHS=lHe=l^2e$

⟹ l e = l^{2} e ⟹ l = 0 or 1

$\implies le=l^2e\implies l=0\text{ or }1$

(tenga en cuenta que no puede ser cero ya que debe satisfacer ) Ahora porque es idepotente, también lo es, porque $e$ $e^Te=1$ $H$ $I_n-H$

(I_{n} - H) (I_{n} - H) = I - I H - H I + H^{2} = I_{n} - H

$(I_n-H)(I_n-H)=I-IH-HI+H^2=I_n-H$

También tenemos la propiedad de que la suma de los valores propios es igual a la traza de la matriz, y

t r (I_{n} - H) = t r (I_{n}) - t r (H) = n - t r (X (X^{T} X)^{- 1} X^{T}) = n - t r ((X^{T} X)^{- 1} X^{T} X)

$tr(I_n-H)=tr(I_n)-tr(H)=n-tr(X(X^TX)^{-1}X^T)=n-tr((X^TX)^{-1}X^TX)$

= n - t r (I_{p + 1}) = n - p - 1

$=n-tr(I_{p+1})=n-p-1$

Por lo tanto, debe tener valores propios iguales a y valores propios iguales a . $I-H$ $n-p-1$ $1$ $p+1$ $0$

Ahora podemos usar la descomposición espectral de donde y es ortogonal (porque es simétrica). Una propiedad adicional que es útil es que . Esto ayuda a reducir la matriz $I-H=ADA^T$ $D=\begin{pmatrix}I_{n-p-1} & 0_{[n-p-1]\times[p+1]}\\0_{[p+1]\times [n-p-1]} & 0_{[p+1]\times [p+1]}\end{pmatrix}$ $A$ $I-H$ $HX=X$ $A$

H X = X ⟹ (I - H) X = 0 ⟹ A D A^{T} X = 0 ⟹ D A^{T} X = 0

$HX=X\implies(I-H)X=0\implies ADA^TX=0\implies DA^TX=0$

⟹ (A^{T} X)_{i j} = 0 i = 1, \dots, n - p - 1 j = 1, \dots, p + 1

$\implies (A^TX)_{ij}=0\;\;\;i=1,\dots,n-p-1\;\;\; j=1,\dots,p+1$

y obtenemos:

\frac{\sum_{i = 1} (Y - \hat{Y_{i}})^{2}}{σ^{2}} = \frac{Y^{T} A D A^{T} Y}{σ^{2}} = \frac{\sum_{i = 1}^{n - p - 1} (A^{T} Y)_{i}^{2}}{σ^{2}}

$\frac{\sum_{i=1}(Y-\hat{Y_i})^2}{\sigma^2}=\frac{Y^TADA^TY}{\sigma^2}=\frac{\sum_{i=1}^{n-p-1}(A^TY)_i^2}{\sigma^2}$

Ahora, bajo el modelo tenemos y usando la teoría normal estándar tenemos que muestra que los componentes de son independientes. Ahora, usando el resultado útil, tenemos que para . La distribución de chi-cuadrado con grados de libertad para la suma de los errores al cuadrado sigue inmediatamente. $Y\sim N(X\beta,\sigma^2I)$ $A^TY\sim N(A^TX\beta,\sigma^2A^TA)\sim N(A^TX\beta,\sigma^2I)$ $A^TY$ $(A^TY)_i\sim N(0,\sigma^2)$ $i=1,\dots,n-p-1$ $n-p-1$

— probabilidadislogica
fuente

Wow, muchas gracias. Realmente es magnífico! ¡La forma de matriz realmente vale la pena! En resumen, SSE / e es idempotente. Las matrices idempotentes tienen valores propios ya sea 0 o 1. Por lo tanto, la suma de los valores propios es el número de valores propios 1. y ya que y convierte en n-p +1. ¡y la suma de los valores propios de una matriz es la suma de trazas de la matriz! y se puede expresar como . Entonces, el primer convierte en con D con solo np-1 diagonales 1.

σ^{2} = Y^{T} (I - H) Y

$\sigma^2 = Y^T(I-H)Y$

I - H

$I-H$

t r (I_{n} - H) = t r (I_{n}) - t r (H) = t r (I_{n}) - t r (X (X^{T} X)^{-} 1 X^{T}) = t r (I_{n}) - t r ((X^{T} X)^{-} 1 X^{T} X)

$tr(I_n-H)= tr(I_n)-tr(H)=tr(I_n)-tr(X(X^T X)^-1 X^T)=tr(I_n)-tr((X^T X)^-1 X^T X)$

t r (A B) = t r (B A)

$tr(AB)=tr(BA)$

t r (I_{n} - H)

$tr(I_n-H)$

I - H

$I-H$

A D A^{T}

$ADA^T$

Y^{T} (I - H) Y

$Y^T(I-H)Y$

Y^{T} A D A^{T} Y

$Y^TADA^TY$

— KH Kim

¡¡Gran respuesta!! Solo para presentar otro enfoque, podemos optar por definir una variable normal multivariada transformada y seguirá la misma distribución si usamos la propiedad afín. Entonces la última fracción .

v := A^{'} Y

$v := A'Y$

N (0, σ^{2} I)

$\mathcal{N}\left(0, \sigma^{2}I\right)$

\frac{Y^{'} A D A^{'} Y}{σ^{2}} = \frac{v^{'} D v}{σ^{2}} = \frac{v^{'} [\begin{matrix} I & 0 \\ 0 & 0 \end{matrix}] v}{σ^{2}} = \sum_{i = 1}^{tr D} {(\frac{v_{i}}{σ})}^{2}

$\frac{Y'ADA'Y}{\sigma^{2}} = \frac{v'Dv}{\sigma^{2}} = \frac{v'\begin{bmatrix} I & 0\\0 & 0\end{bmatrix}v}{\sigma^{2}}= \sum_{i=1}^{\operatorname{tr}D} \left(\frac{v_{i}}{\sigma}\right)^{2}$

— Daeyoung Lim