Desviación estándar de desviación estándar

¿Qué es un estimador de la desviación estándar de la desviación estándar si se puede suponer la normalidad de los datos?

estimation standard-deviation normality-assumption

— Ferdi
fuente

Supongo que está buscando la distribución de la varianza muestral . Esto enlaza a una sección en la página de Wikipedia sobre la variación el 16:55, 21 de agosto de 2016. Debido a que este es un enlace a Wikipedia, el artículo podría cambiar en el futuro. Por lo tanto, la sección puede no reflejar los contenidos a los que se refiere esta respuesta después de dichos cambios. Por lo tanto, aquí se proporciona un enlace a una versión histórica de la página de Wikipedia. El artículo actual sobre la varianza se encuentra [aquí] ( en.wikipedia.org/wik

Respuestas:

Deje . Como se muestra en este hilo , la desviación estándar de la desviación estándar de la muestra, $X_1, ..., X_n \sim N(\mu, \sigma^2)$

s = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (X_{i} - \bar{X})},

$s = \sqrt{ \frac{1}{n-1} \sum_{i=1}^{n} (X_i - \overline{X}) },$

S D (s) = \sqrt{E ([E (s) - s]^{2})} = σ \sqrt{1 - \frac{2}{n - 1} \cdot {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

${\rm SD}(s) = \sqrt{ E \left( [E(s)- s]^2 \right) } = \sigma \sqrt{ 1 - \frac{2}{n-1} \cdot \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

donde es la función gamma , es el tamaño de la muestra y es la media de la muestra. Como es un estimador consistente de , esto sugiere reemplazar con en la ecuación anterior para obtener un estimador consistente de . $\Gamma(\cdot)$ $n$ $\overline{X} = \frac{1}{n} \sum_{i=1}^{n} X_i$ $s$ $\sigma$ $\sigma$ $s$ ${\rm SD}(s)$

Si busca un estimador imparcial, vemos en este hilo que , que, por linealidad de expectativa, sugiere $E(s) = \sigma \cdot \sqrt{ \frac{2}{n-1} } \cdot \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) }$

s \cdot \sqrt{\frac{n - 1}{2}} \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)}

$s \cdot \sqrt{ \frac{n-1}{2} } \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) }$

como un estimador imparcial de . Todo esto junto con la linealidad de la expectativa proporciona un estimador imparcial de : $\sigma$ ${\rm SD}(s)$

s \cdot \frac{Γ (\frac{n - 1}{2})}{Γ (n / 2)} \cdot \sqrt{\frac{n - 1}{2} - {(\frac{Γ (n / 2)}{Γ (\frac{n - 1}{2})})}^{2}}

$s \cdot \frac{\Gamma( \frac{n-1}{2} )}{ \Gamma(n/2) } \cdot \sqrt{\frac{n-1}{2} - \left( \frac{ \Gamma(n/2) }{ \Gamma( \frac{n-1}{2} ) } \right)^2 }$

— Macro
fuente

+1 Es agradable ver que no solo aparece una mejor respuesta después de casi dos años, sino una respuesta que proporciona más detalles útiles que las referencias en otras partes de este hilo.

— whuber

¿Se olvidó de cuadrar las distancias en la primera fórmula?

— danijar

La función Gamma es difícil de calcular para valores no pequeños de . Aplicando la aproximación de Stirling, obtengo , que es computacionalmente factible y un poco más compacto en cuanto a expresión.

n

$n$

s \cdot \sqrt{e \cdot (1 - \frac{1}{n})^{n - 1} - 1}

$s\cdot\sqrt{\mathrm{e}\cdot(1-\frac{1}{n})^{n-1}-1}$

— Equaeghe

Probablemente valga la pena señalar que s (calculada en la respuesta de @ Macro a veces se denomina error estándar de la desviación estándar de la muestra.)

— Harvey Motulsky

Para aquellos que desean una forma simple, es una buena aproximación a un nivel de porcentaje.

s / \sqrt{2 (n - 1)}

$s/\sqrt{2(n-1)}$

— Syrtis Major

Suponga que observa iid desde una normal con media cero y varianza . La desviación estándar (empírica) es la raíz cuadrada del estimador de (imparcial o no, esa no es la pregunta). Como estimador (obtenido con ), tiene una varianza que puede calcularse teóricamente. ¿Quizás lo que usted llama la desviación estándar de la desviación estándar es en realidad la raíz cuadrada de la varianza de la desviación estándar, es decir, ? No es un estimador, es una cantidad teórica (algo así como $X_1,\dots,X_n$ $\sigma^2$ $\hat{\sigma}^2$ $\sigma^2$ $X_1,\dots,X_n$ $\hat{\sigma}$ $\sqrt{E[(\sigma-\hat{\sigma})^2]}$ $\sigma/\sqrt{n}$ por confirmar) que se puede calcular explícitamente

— robin girard
fuente

¿No es esa una función de estimador sigue siendo un estimador? Todavía no sé \ sigma, solo X_i.

\hat{σ} / n

$\hat{\sigma}/n$

\sqrt{2}

$\sqrt{2}$

\hat{σ} \frac{\sqrt{2}}{2 n}

$\hat{\sigma}\frac{\sqrt{2}}{2n}$

\frac{\hat{σ}}{\sqrt{2 n}}

$\frac{\hat{\sigma}}{\sqrt{2n}}$

-3

@Macro proporcionó una gran explicación matemática con ecuaciones para calcular. Aquí hay una explicación más general para personas menos matemáticas.

Creo que la terminología "SD de SD" es confusa para muchos. Es más fácil pensar en el intervalo de confianza de una SD. ¿Qué tan precisa es la desviación estándar que calcula de una muestra? Por casualidad, es posible que haya obtenido datos estrechamente agrupados, lo que hace que la muestra SD sea mucho más baja que la población SD. O puede haber obtenido valores aleatorios que están mucho más dispersos que la población general, lo que hace que la muestra SD sea más alta que la población SD.

Interpretar el CI de la SD es sencillo. Comience con la suposición habitual de que sus datos se muestrearon de forma aleatoria e independiente de una distribución gaussiana. Ahora repita este muestreo muchas veces. Usted espera que el 95% de esos intervalos de confianza incluyan la SD real de la población.

¿Qué tan amplio es el intervalo de confianza del 95% de una SD? Depende del tamaño de la muestra (n), por supuesto.

n: IC 95% de DE

2: 0,45 * SD a 31,9 * SD

3: 0.52 * SD a 6.29 * SD

5: 0.60 * SD a 2.87 * SD

10: 0,69 * SD a 1,83 * SD

25: 0.78 * SD a 1.39 * SD

50: 0,84 * SD a 1,25 * SD

100: 0,88 * SD a 1,16 * SD

500: 0,94 * SD a 1,07 * SD

Calculadora web gratuita

— Harvey Motulsky
fuente

Puedo hacer Montecarlo, solo quería hacerlo de una manera más "científica"; Todavía tiene razón en que la distribución no es normal, por lo que este SD será inútil para las pruebas.

Por lo que vale, me siento incómodo con la afirmación "un intervalo de confianza que es del 95% ... probablemente contenga la SD real" (o, más explícitamente en la página vinculada: "puede estar 95% seguro de que el CI calculado a partir de la muestra SD contiene la verdadera población SD "). Creo que estas declaraciones coquetean con el refuerzo de un concepto erróneo popular, ver aquí , por ejemplo, para una discusión relacionada sobre CV.

— gung - Restablece a Monica

¿Qué es "Creo que tanto el concepto como la terminología de" SD de SD "es demasiado resbaladizo para abordar" que se supone que significa? La desviación estándar de la muestra es una variable aleatoria que tiene una desviación estándar.

— Macro

@Macro. Gracias por tus comentarios. Reescribí sustancialmente.

— Harvey Motulsky

@gung. Reescribí para explicar adecuadamente el intervalo de confianza.

— Harvey Motulsky