¿Explicación intuitiva para dividir entre

Me preguntaron hoy en clase por qué divide la suma del error cuadrado por $n-1$ lugar de con $n$ , al calcular la desviación estándar.

Dije que no voy a responderlo en clase (ya que no quería entrar en estimadores imparciales), pero luego me pregunté: ¿hay una explicación intuitiva para esto?

La desviación estándar calculada con un divisor de es una desviación estándar calculada a partir de la muestra como una estimación de la desviación estándar de la población de la que se extrajo la muestra. Debido a que los valores observados caen, en promedio, más cerca de la media de la muestra que de la media de la población, la desviación estándar que se calcula utilizando desviaciones de la media de la muestra subestima la desviación estándar deseada de la población. El uso de n - 1 en lugar de n como el divisor corrige eso haciendo que el resultado sea un poco más grande.$n-1$$n-1$$n$

Tenga en cuenta que la corrección tiene un efecto proporcional mayor cuando es pequeño que cuando es grande, que es lo que queremos porque cuando n es mayor, es probable que la media de la muestra sea un buen estimador de la media de la población.$n$

Cuando la muestra es la población total, usamos la desviación estándar con como divisor porque la media de la muestra es la media de la población.$n$

(Noto entre paréntesis que nada que comience con el "segundo momento centrado en un medio conocido y definido" cumplirá la solicitud del interlocutor de una explicación intuitiva).

Una de las más comunes es que la definición de varianza (de una distribución) es el segundo momento centrado en una media conocida y definida , mientras que el estimador usa una media estimada . Esta pérdida de un grado de libertad (dada la media, puede reconstituir el conjunto de datos con el conocimiento de solo de los valores de datos) requiere el uso de n - 1 en lugar de n para "ajustar" el resultado.$n-1$$n-1$$n$

Tal explicación es consistente con las variaciones estimadas en ANOVA y el análisis de componentes de la varianza. Realmente es solo un caso especial.

La necesidad de hacer algún ajuste que infle la varianza puede, creo, hacerse intuitivamente clara con un argumento válido que no sea solo agitar las manos ex post facto . (Recuerdo que Student pudo haber hecho tal argumento en su artículo de 1908 sobre la prueba t). Por qué el ajuste a la varianza debería ser exactamente un factor de es más difícil de justificar, especialmente cuando considera que la SD ajustada no es$n/(n-1)$Un estimador imparcial. (Es simplemente la raíz cuadrada de un estimador imparcial de la varianza. Ser imparcial generalmente no sobrevive a una transformación no lineal). Entonces, de hecho, el ajuste correcto a la SD para eliminar su sesgo no es un factor de en absoluto!$\sqrt{n/(n-1)}$

Algunos libros de texto introductorios ni siquiera se molestan en introducir el SD ajustado: enseñan una fórmula (dividir por ). Primero reaccioné negativamente a eso cuando enseñaba en un libro así, pero crecí para apreciar la sabiduría: al centrarme en los conceptos y aplicaciones, los autores eliminan todas las sutilezas matemáticas no esenciales. Resulta que nada está herido y nadie está engañado.$n$

Por definición, la varianza se calcula tomando la suma de las diferencias al cuadrado de la media y dividiéndola por el tamaño. Tenemos la formula general

dondeμes la media yNes el tamaño de la población.$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$$\mu$$N$

Según esta definición, la varianza de la muestra a (por ejemplo, la muestra ) también debe calcularse de esta manera.$t$

donde ¯ X es la mediaynes el tamaño de esta pequeña muestra.$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$$\overline{X}$$n$

Sin embargo, por varianza muestral , nos referimos a un estimador de la varianza poblacional σ 2 . ¿Cómo podemos estimar σ 2 solo usando los valores de la muestra?$S^2$$\sigma^2$$\sigma^2$

De acuerdo con las fórmulas anteriores, la variable aleatoria desvía de la media muestral ¯ X con la varianza σ 2 t . La muestra media ¯ X también se desvía de μ con varianza σ $X$$\overline{X}$$\sigma^2_t$$\overline{X}$$\mu$ porque la media muestral obtiene valores diferentes de muestra a muestra y es una variable aleatoria con mediaμy varianzaσ$\frac{\sigma^2}{n}$$\mu$ . (Se puede probar fácilmente).$\frac{\sigma^2}{n}$

Por lo tanto, aproximadamente, debería desviarse de μ con una varianza que involucra dos variaciones, así que sume estos dos y obtenga σ 2 = σ 2 t + σ $X$$\mu$ . Al resolver esto, obtenemosσ2=σ 2 t ×$\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Reemplazarσ 2 t da nuestro estimador para la varianza de la población:$\sigma^2=\sigma^2_t \times\frac{n}{n-1}$$\sigma^2_t$

.$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$

También se puede demostrar que es verdadero.$E[S^2]=\sigma^2$

Esta es una intuición total, pero la respuesta más simple es que se realiza una corrección para hacer que la desviación estándar de la muestra de un elemento sea indefinida en lugar de 0.

Puede obtener una comprensión más profunda del término solo a través de la geometría, no solo por qué no es n sino por qué toma exactamente esta forma, sino que primero puede necesitar construir su intuición para hacer frente a la geometría n- dimensional. A partir de ahí, sin embargo, es un pequeño paso hacia una comprensión más profunda de los grados de libertad en los modelos lineales (es decir, modelo df y residual df). Creo que hay pocas dudas de que Fisher pensó de esta manera. Aquí hay un libro que lo construye gradualmente:$n-1$$n$$n$

DJ Saville, Wood GR. Métodos estadísticos: el enfoque geométrico . 3a edición. Nueva York: Springer-Verlag; 1991. 560 páginas. 9780387975177

(Sí, 560 páginas. Lo dije gradualmente).

El estimador de la varianza de la población está sesgado cuando se aplica a una muestra de la población. Para ajustarse a ese sesgo, debe dividirse entre n-1 en lugar de n. Uno puede mostrar matemáticamente que el estimador de la varianza de la muestra es imparcial cuando dividimos por n-1 en lugar de n. Aquí se proporciona una prueba formal:

https://economictheoryblog.com/2012/06/28/latexlatexs2/

Inicialmente fue la corrección matemática la que condujo a la fórmula, supongo. Sin embargo, si uno quiere agregar intuición a una fórmula, las sugerencias ya mencionadas parecen razonables.

Primero, las observaciones de una muestra están en promedio más cerca de la media muestral que de la media poblacional. El estimador de varianza hace uso de la media muestral y, en consecuencia, subestima la varianza real de la población. La división por n-1 en lugar de n corrige ese sesgo.

Además, dividir por n-1 hace que la varianza de una muestra de un elemento sea indefinida en lugar de cero.

¿Por qué dividir por lugar de n ? Porque es habitual y da como resultado una estimación imparcial de la varianza. Sin embargo, da como resultado una estimación sesgada (baja) de la desviación estándar, como se puede ver aplicando la desigualdad de Jensen a la función cóncava, la raíz cuadrada.$n-1$$n$

Entonces, ¿qué tiene de bueno tener un estimador imparcial? No minimiza necesariamente el error cuadrático medio. El MLE para una distribución normal es dividir por lugar de n - 1 . Enseñe a sus alumnos a pensar, en lugar de regurgitar y aplicar nociones anticuadas de un siglo atrás.$n$$n-1$

Es bien sabido (o fácilmente probado) que el cuadrático tiene un extremo en z = - $\alpha z^2 + 2\beta z + \gamma$ . Esto muestra que, para cualquiernnúmeros realesx1,x2,...,xn, la cantidad G(a)= n ∑ i=1(xi-a)2=( n ∑ i = 1 x 2 i )-2a( n ∑ i = 1 xi)+$z = -\frac{\beta}{\alpha}$$n$$x_1, x_2, \ldots, x_n$ tiene un valor mínimo cuando a =

$$G(a) = \sum_{i=1}^n (x_i-a)^2 = \left(\sum_{i=1}^n x_i^2\right) -2a\left(\sum_{i=1}^n x_i\right) + na^2,$$ .$\displaystyle a = \frac 1n \sum_{i=1}^n x_i =\bar{x}$

Ahora, suponga que es una muestra de tamaño n de una distribución con media desconocida μ y varianza desconocida σ 2 . Podemos estimar μ como $x_i$$n$$\mu$$\sigma^2$$\mu$ que es bastante fácil de calcular, pero un intento de estimarσ2 como$\frac 1n \sum_{i=1}^n x_i = \bar{x}$$\sigma^2$$\frac 1n \sum_{i=1}^n (x_i-\mu)^2 = n^{-1}G(\mu)$$\mu$$G(\bar{x})$$G(\mu) \geq G(\bar{x})$$G(\mu)$$G(\mu)$$G(\bar{x})$$\frac{n}{n-1}$

$$G(\mu) \approx \frac{n}{n-1}G(\bar{x})\tag{1}$$ $\displaystyle n^{-1}G(\mu)= \frac 1n\sum_{i=1}^n(x_i-\mu)^2$$\displaystyle \frac{1}{n-1}G(\bar{x}) = \frac{1}{n-1}\sum_{i=1}^n (x_i-\bar{x})^2.$

$(1)$

$$\begin{align} G(\mu) &= \sum_{i=1}^n (x_i-\mu)^2\\ &= \sum_{i=1}^n (x_i-\bar{x} + \bar{x}-\mu)^2\\ &= \sum_{i=1}^n \left((x_i-\bar{x})^2 + (\bar{x}-\mu)^2 + 2(x_i-\bar{x})(\bar{x}-\mu)\right)\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 + (\bar{x}-\mu)\sum_{i=1}^n(x_i-\bar{x})\\ &= G(\bar{x}) + n(\bar{x}-\mu)^2 \tag{2} \end{align}$$ $\sum_{i=1}^n (x_i-\bar{x}) = n\bar{x}-n\bar{x} = 0$ $$\begin{align} n(\bar{x}-\mu)^2 &= n\frac{1}{n^2}\left(\sum_{i=1}^n(x_i-\mu)\right)^2\\ &= \frac 1n \sum_{i=1}^n(x_i-\mu)^2 + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\\ &= \frac 1n G(\mu) + \frac 2n \sum_{i=1}^n\sum_{j=i+1}^n(x_i-\mu)(x_j-\mu)\tag{3} \end{align}$$ $x_i$$\mu$$\mu$$(x_i-\mu)(x_j-\mu)$$(3)$$\frac 1nG(\mu)$$(3)$$(2)$ $$G(\mu) \approx G(\bar{x}) + \frac 1nG(\mu) \Longrightarrow G(\mu) \approx \frac{n}{n-1}G(\bar{x})$$ $(1)$

$(x_i-x_j)^2/2$

$$s^2 = \frac{2}{n(n-1)}\sum_{i< j}\frac{(x_i-x_j)^2}{2} = \frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2 .$$

$X$$Y$

$$V(X) = E\left(\frac{(X-Y)^2}{2}\right) = E((X-E(X))^2) .$$

Pasar de la definición de varianza de la variable aleatoria a la definición de varianza de la muestra es una cuestión de estimar una expectativa por una media que puede justificarse por el principio filosófico de tipicidad: la muestra es una representación típica de la distribución. (Tenga en cuenta que esto está relacionado, pero no es lo mismo que la estimación por momentos).

$N=1$$x$$\overline{m}=x$$1$

$$V=\frac{\sum_N (x_n - \overline{m} )^2}{N}$$

$$\overline{V}=\frac{(x-\overline{m})^2}{1} = 0\,.$$

$y$$x\neq y$$N-1=0$

$0$$d+1$$d$$d+1$

A sugerencia de whuber , esta respuesta se ha copiado de otra pregunta similar .

La corrección de Bessel se adopta para corregir el sesgo al usar la varianza muestral como estimador de la varianza verdadera. El sesgo en la estadística no corregida se produce porque la media de la muestra está más cerca del centro de las observaciones que la media real, por lo que las desviaciones al cuadrado alrededor de la media de la muestra subestiman sistemáticamente las desviaciones al cuadrado alrededor de la media verdadera.

$S_*^2$$n$

$$\begin{equation} \begin{aligned} S_*^2 &= \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2 \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (X_i^2 - 2 \bar{X} X_i + \bar{X}^2) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 \bar{X} \sum_{i=1}^n X_i + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - 2 n \bar{X}^2 + n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \Bigg( \sum_{i=1}^n X_i^2 - n \bar{X}^2 \Bigg) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n X_i^2 - \bar{X}^2. \end{aligned} \end{equation}$$

Tomando las expectativas de rendimientos:

$$\begin{equation} \begin{aligned} \mathbb{E}(S_*^2) &= \frac{1}{n} \sum_{i=1}^n \mathbb{E}(X_i^2) - \mathbb{E} (\bar{X}^2) \\[8pt] &= \frac{1}{n} \sum_{i=1}^n (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= (\mu^2 + \sigma^2) - (\mu^2 + \frac{\sigma^2}{n}) \\[8pt] &= \sigma^2 - \frac{\sigma^2}{n} \\[8pt] &= \frac{n-1}{n} \cdot \sigma^2 \\[8pt] \end{aligned} \end{equation}$$

$\sigma^2$$n-1$

Generalmente, usar "n" en el denominador da valores más pequeños que la varianza de la población, que es lo que queremos estimar. Esto sucede especialmente si se toman muestras pequeñas. En el lenguaje de las estadísticas, decimos que la varianza de la muestra proporciona una estimación "sesgada" de la varianza de la población y debe hacerse "imparcial".

Si está buscando una explicación intuitiva, ¡debe dejar que sus alumnos vean la razón por sí mismos al tomar muestras! Mire esto, precisamente responde a su pregunta.

https://www.youtube.com/watch?v=xslIhnquFoE

$\bar{X} = \frac{1}{n}\sum_{i=1}^{n} X_i$$S^2 = \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$n - 1$

Para responder a esta pregunta, debemos volver a la definición de un estimador imparcial. Un estimador imparcial es aquel cuya expectativa tiende a la verdadera expectativa. La media muestral es un estimador imparcial. Para ver por qué:

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^{n} E[X_i] = \frac{n}{n} \mu = \mu$$

Veamos las expectativas de la varianza muestral,

$$S^2 = \frac{1}{n-1} \sum_{i=1}^{n} (X_i^2) - n\bar{X}^2$$

$$E[S^2] = \frac{1}{n-1} \left( n E[(X_i^2)] - nE[\bar{X}^2] \right).$$

$\bar{X}$$E[\bar{X}^2]$$n-1$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + Var(\bar{X})) \right).$$ $$Var(\bar{X}) = Var(\frac{1}{n}\sum_{i=1}^{n} X_i) = \sum_{i=1}^{n} \frac{1}{n^2} Var(X_i) = \frac{\sigma^2}{n}$$

$$E[S^2] = \frac{1}{n-1} \left( n (\mu^2 + \sigma^2) - n(\mu^2 + \sigma^2/n) \right). = \frac{(n-1)\sigma^2}{n-1} = \sigma^2 \\ $$

$n$$n-1$$n-1$$S^2$

$\mu$$\sigma^2$$n$$\mu$

$$\sigma^2 \left(\frac{n+1}{n-1}\right),$$

$2n$

La distribución generalizada T de Student tiene tres parámetros y hace uso de las tres estadísticas. Si decide arrojar alguna información, puede aproximar aún más sus datos utilizando una distribución normal de dos parámetros como se describe en su pregunta.

Desde el punto de vista bayesiano, puede imaginar que la incertidumbre en los hiperparámetros del modelo (distribuciones sobre la media y la varianza) hace que la varianza del predictivo posterior sea mayor que la varianza de la población.

¡Dios mío, se está complicando! Pensé que la respuesta simple era ... si tiene todos los puntos de datos, puede usar "n", pero si tiene una "muestra", suponiendo que sea una muestra aleatoria, tiene más puntos de muestra dentro de la desviación estándar que desde afuera (la definición de desviación estándar). Simplemente no tiene suficientes datos externos para asegurarse de obtener todos los puntos de datos que necesita al azar. El n-1 ayuda a expandirse hacia la desviación estándar "real".