Cómo derivar el error estándar del coeficiente de regresión lineal

20

Para este modelo de regresión lineal univariante dado el conjunto de datos , los coeficientes estimados son Aquí está mi pregunta, de acuerdo con libro y Wikipedia , el error estándar de es ¿Cómo y por qué?

y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$

{\hat{β}}_{1} = \frac{\sum_{i} x_{i} y_{i} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \sum_{i} x_{i}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$

{\hat{β}}_{1}

$\hat\beta_1$

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{i} {\hat{ϵ}}_{i}^{2}}{(n - 2) \sum_{i} (x_{i} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$

standard-error inference

— aguacate
fuente

1

stats.stackexchange.com/questions/44838/…

— ocram

@ocram, gracias, pero no soy capaz de manejar cosas de matrices, lo intentaré.

— aguacate

1

@ocram, ya entiendo cómo viene. Pero aún una pregunta: en mi publicación, el error estándar tiene , donde según su respuesta, no lo hace, ¿por qué?

(n - 2)

$(n-2)$

— aguacate

15

3er comentario anterior: ya entiendo cómo viene. Pero aún una pregunta: en mi publicación, el error estándar tiene (n − 2), donde según su respuesta, no lo hace, ¿por qué?

En mi publicación , se encuentra que El denominador se puede escribir como Por lo tanto,

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{i}^{2} - (\sum x_{i})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

n \sum_{i} (x_{i} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

Con es decir, el error cuadrático medio (MSE) en la tabla ANOVA, terminamos con su expresión para . El término explica la pérdida de 2 grados de libertad en la estimación de la intersección y la pendiente.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$

n - 2

$n-2$

— ocram
fuente

1

Creo que entiendo todo lo demás, espero la última parte. ¿Puede mostrar paso a paso por qué ? También sé que está relacionado con los grados de libertad, pero no entiendo las matemáticas.

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$

— Mappi

2

Otra forma de pensar sobre el n-2 df es porque usamos 2 medios para estimar el coeficiente de la pendiente (la media de Y y X)

df de Wikipedia: "... En general, los grados de libertad de una estimación de un parámetro son iguales al número de puntajes independientes que entran en la estimación menos el número de parámetros utilizados como pasos intermedios en la estimación del parámetro mismo ".

— Eivind
fuente

2

Esto no es realmente una derivación como tal, aunque es una intuición. Sin embargo, para algunas sutilezas relacionadas con esto, vea ¿Cómo entender los grados de libertad?

— Silverfish