¿Cuál es la diferencia entre la varianza y el error cuadrático medio?

Me sorprende que esto no se haya preguntado antes, pero no puedo encontrar la pregunta en stats.stackexchange.

Esta es la fórmula para calcular la varianza de una muestra distribuida normalmente:

\frac{\sum (X - \bar{X})^{2}}{n - 1}

$\frac{\sum(X - \bar{X}) ^2}{n-1}$

Esta es la fórmula para calcular el error cuadrático medio de las observaciones en una regresión lineal simple:

\frac{\sum (y_{i} - {\hat{y}}_{i})^{2}}{n - 2}

$\frac{\sum(y_i - \hat{y}_i) ^2}{n-2}$

¿Cuál es la diferencia entre estas dos fórmulas? La única diferencia que puedo ver es que MSE usa . Entonces, si esa es la única diferencia, ¿por qué no referirse a ellos como la varianza, pero con diferentes grados de libertad? $n-2$

variance error

— luciano
fuente

¿Qué tiene la página de wikipedia aquí que no está clara?

— TrynnaDoStat

La varianza es el promedio de la desviación al cuadrado de las observaciones de la media. El MSE en contraste es el promedio de las desviaciones al cuadrado de las predicciones de los valores verdaderos.

— random_guy

Tanto "varianza" como "error cuadrático medio" tienen múltiples fórmulas y diferentes aplicaciones. Para aclarar su pregunta, ¿podría (a) describir a qué tipo de datos está aplicando estos conceptos y (b) dar fórmulas para ellos? (Es probable que al hacerlo descubra también la respuesta a su pregunta).

— whuber

Hay una fórmula más general, que ambos son casos especiales de:

, donde

es el número de parámetros estimados en la obtención

\frac{\sum_{i} (y_{i} - {\hat{y}}_{i})^{2}}{n - p}

$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p}$

p

$p$

\hat{y}

$\hat{y}$

— Glen_b -Reinstate Monica

@Glen_b ¿podría proporcionar una referencia para obtener más información sobre esta fórmula general?

— trianta2

Respuestas:

El error cuadrático medio como lo ha escrito para OLS está ocultando algo:

\frac{\sum_{i}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{n - 2} = \frac{\sum_{i}^{n} {[y_{i} - ({\hat{β}}_{0} + {\hat{β}}_{x} x_{i})]}^{2}}{n - 2}

$\frac{\sum_{i}^{n}(y_i - \hat{y}_i) ^2}{n-2} = \frac{\sum_{i}^{n}\left[y_i - \left(\hat{\beta}_{0} + \hat{\beta}_{x}x_{i}\right)\right] ^2}{n-2}$

Observe que el numerador suma sobre una función de $y$ y $x$ , por lo que pierde un grado de libertad para cada variable, por lo tanto $n-2$ . En la fórmula para la varianza muestral, el numerador es una función de una sola variable, por lo que pierde solo un grado de libertad en el denominador.

Sin embargo, está en camino de notar que estas son cantidades conceptualmente similares. La varianza muestral mide la extensión de los datos alrededor de la media muestral (en unidades cuadradas), mientras que el MSE mide la extensión vertical de los datos alrededor de la línea de regresión muestral (en unidades verticales cuadradas).

— Alexis
fuente

@amoeba ¡Hola! Gracias por la atención. ¿Existe una guía de estilo de CV oficial que provocó esta edición? Si es así, quiero aprenderlo. Si no, bueno, Glen_b una vez me recriminó con razón por estar colonizando con mis preferencias de estilo personal y ediciones a otras Qs y As. ¿Qué piensas? (Y pregunto esto en un tono colegial: creo que su edición agrega algo. Solo quiero entender mejor nuestros valores de edición.)

— Alexis

No creo que haya ninguna guía de estilo de CV oficial que haga esta sugerencia, pero en LaTeX hay fórmulas en línea (marcadas con un signo de dólar) que se representan directamente en el bloque de texto y muestran fórmulas (marcadas con dos signos de dólar) que se representan en una línea separada. Las fórmulas mostradas usan un diseño diferente. Su fórmula estaba originalmente en una línea separada pero marcada con un signo de dólar; No creo que esto tenga sentido. Sin embargo, tiene razón sobre las preferencias personales, así que siéntase libre de retroceder con disculpas. La razón por la que edité fue porque estaba arreglando un error tipográfico en la Q de todos modos.

— ameba dice Reinstate Monica

β_{0}

$\beta_0$

n - 1

$n-1$

n - 2

$n-2$

$n$ $n-1$ $n$ $n-1$

$= \beta_{0} + \beta_{1}\times x$ $\beta_{0}$ $\beta_{1}$ $n-2$

— Brajesh Kumar
fuente