Al hacer una estimación de mínimos cuadrados (suponiendo un componente aleatorio normal), las estimaciones de los parámetros de regresión se distribuyen normalmente con una media igual al parámetro de regresión verdadero y la matriz de covarianza donde es la varianza residual y es la matriz de diseño. es la transposición de y X está definida por la ecuación del modelo Y = X \ beta + \ epsilon con \ beta los parámetros de regresión y \ epsilon es el término de error. La desviación estándar estimada de un parámetro beta se obtiene tomando el término correspondiente en (X ^ TX) ^ {- 1}Σ=s2⋅(XTX)−1s2XTXXTXXY=Xβ+ϵβϵ(XTX)−1multiplicándolo por la estimación muestral de la varianza residual y luego tomando la raíz cuadrada. Este no es un cálculo muy simple, pero cualquier paquete de software lo calculará por usted y lo proporcionará en la salida.
Ejemplo
En la página 134 de Draper y Smith (mencionado en mi comentario), proporcionan los siguientes datos para ajustar por mínimos cuadrados un modelo Y=β0+β1X+ε donde ε∼N(0,Iσ2) .
X Y XY
0 -2 0
2 0 0
2 2 4
5 1 5
5 3 15
9 1 9
9 0 0
9 0 0
9 1 9
10 -1 -10
--- -- ---
Sum 60 5 32
Sum of Squares 482 21 528
Parece un ejemplo donde la pendiente debe estar cerca de 0.
Xt=(101212151519191919110).
Entonces
XtX=(n∑Xi∑Xi∑X2i)=(106060482)
y
( XtX)- 1= ⎛⎝⎜⎜∑ X2yon ∑ ( Xyo- X¯)2- X¯∑ ( Xyo- X¯)2- X¯∑ ( Xyo- X¯)21∑ ( Xyo- X¯)2⎞⎠⎟⎟= ( 48210 ( 122 )- 6122- 61221122)=(0.395−0.049−0.0490.008)
donde .X¯=∑Xi/n=60/10=6
Estimación para = (b0) = (Yb-b1 Xb) b1 Sxy / Sxxβ=(XTX)−1XTY
b1 = 1/61 = 0.0163 y b0 = 0.5- 0.0163 (6) = 0.402
De arriba de Sb1 = Se (0.008) y Sb0 = Se (0.395) donde Se es la desviación estándar estimada para el término de error. Se = √2.3085.(XTX)−1
Lamento que las ecuaciones no contengan subíndice y superíndice cuando las corté y pegué. La tabla tampoco se reprodujo bien porque los espacios se ignoraron. La primera cadena de 3 números corresponde a los primeros valores de XY y XY y lo mismo para las siguientes cadenas de tres. Después de Sum vienen las sumas para XY y XY respectivamente y luego la suma de los cuadrados para XY y XY respectivamente. Las matrices 2x2 también se estropearon. Los valores después de los corchetes deben estar entre corchetes debajo de los números a la izquierda.