Donde hace

36

Una versión muy simple del teorema limitado central como se muestra a continuación que es Lindeberg – Lévy CLT. No entiendo por qué hay un en el lado izquierdo. Y Lyapunov CLT dice pero por qué no ? ¿Alguien me diría cuáles son estos factores, como y ? ¿Cómo los conseguimos en el teorema?

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— Cerdo volador
fuente

3

Esto se explica en stats.stackexchange.com/questions/3734 . Esa respuesta es larga, porque pide "intuición". Sin embargo, concluye: "Sin embargo, esta simple aproximación sugiere cómo De Moivre podría haber sospechado originalmente que existe una distribución limitante universal, que su logaritmo es una función cuadrática y que el factor de escala apropiado debe ser proporcional a ... "

s_{n}

$s_n$

\sqrt{n}

$\sqrt{n}$

— whuber

1

Intuitivamente, si todo entonces y la segunda línea se sigue de la primera línea: dividir por (por supuesto, la condición de Lyapunov, combinación desactivada all , es otra pregunta)

σ_{i} = σ

$\sigma_i=\sigma$

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{norte}} \sum_{yo = 1}^{norte} (X_{yo} - μ)}{\frac{s_{norte}}{\sqrt{norte}}} = \frac{1}{s_{norte}} \sum_{yo = 1}^{norte} (X_{yo} - μ_{yo}) \overset{re}{\to} norte (0 0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ $\sigma_i$

— Sextus Empiricus

33

Buena pregunta (+1) !!

Recordará que para las variables aleatorias independientes e , y . Entonces, la varianza de es , y la varianza de es . $X$ $Y$ $Var(X+Y) = Var(X) + Var(Y)$ $Var(a\cdot X) = a^2 \cdot Var(X)$ $\sum_{i=1}^n X_i$ $\sum_{i=1}^n \sigma^2 = n\sigma^2$ $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ $n\sigma^2 / n^2 = \sigma^2/n$

Esto es para la varianza . Para estandarizar una variable aleatoria, la divide por su desviación estándar. Como sabe, el valor esperado de es , por lo que la variable $\bar{X}$ $\mu$

\frac{\bar{X} - mi (\bar{X})}{\sqrt{V una r (\bar{X})}} = \sqrt{norte} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ tiene el valor esperado 0 y la varianza 1. Entonces, si tiende a ser gaussiano, tiene que ser el gaussiano estándar . Su formulación en la primera ecuación es equivalente. Al multiplicar el lado izquierdo por , establece la varianza en .

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

Con respecto a su segundo punto, creo que la ecuación que se muestra arriba ilustra que debe dividir entre y no para estandarizar la ecuación, explicando por qué usa (el estimador de y no . $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

Adición: @whuber sugiere discutir el por qué del escalado por . Lo hace allí , pero como la respuesta es muy larga, intentaré captar el sentido de su argumento (que es una reconstrucción de los pensamientos de De Moivre). $\sqrt{n}$

Si agrega un gran número de + 1 y -1, puede aproximar la probabilidad de que la suma sea por conteo elemental. El registro de esta probabilidad es proporcional a . Entonces, si queremos que la probabilidad anterior converja a una constante a medida que aumenta, tenemos que usar un factor de normalización en . $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

Usando herramientas matemáticas modernas (post de Moivre), puede ver la aproximación mencionada anteriormente al notar que la probabilidad buscada es

PAGS (j) = \frac{(\binom{norte}{norte / / 2 + j})}{2^{norte}} = \frac{norte!}{2^{norte} (norte / / 2 + j)! (norte / / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

que aproximamos por la fórmula de Stirling

PAGS (j) \approx \frac{{norte}^{norte} {mi}^{norte / / 2 + j} {mi}^{norte / / 2 - j}}{2^{norte} {mi}^{norte} (norte / / 2 + j)^{norte / / 2 + j} (norte / / 2 - j)^{norte / / 2 - j}} = {(\frac{1}{1 + 2 j / / norte})}^{norte + j} {(\frac{1}{1 - 2 j / / norte})}^{norte - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

Iniciar sesión (PAGS (j)) = - (norte + j) Iniciar sesión (1 + 2 j / / norte) - (norte - j) Iniciar sesión (1 - 2 j / / norte) \sim - 2 j (norte + j) / / norte + 2 j (norte - j) / / norte \propto - j^{2} / / norte .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
fuente

Por favor, vea mis comentarios a respuestas anteriores de Michael C. y chico.

— whuber

Parece que la primera ecuación (LL CLT) s / b ? Eso me confundió también que apareció como la varianza.

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

Si parametriza el gaussiano con media y varianza (no desviación estándar), entonces creo que la fórmula de OP es correcta.

— gui11aume

1

Ahh..Dado que si multiplicamos por obtenemos lo que mostró OP ( cancel): a saber, . Pero sabemos que VAR (aX) = a ^ 2Var (X) donde en este caso a = y Var (X) es 1, entonces la distribución es .

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, si no es demasiado tarde, quería asegurarme de tener esto correcto. Si suponemos y multiplicamos por una constante ( ), el valor esperado de esta cantidad (es decir, ), que era cero, sigue siendo cero como E [aX] = a * E [X] => * 0 = 0. ¿Es esto correcto?

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

Existe una buena teoría sobre qué tipo de distribuciones pueden ser distribuciones limitantes de sumas de variables aleatorias. El buen recurso es el siguiente libro de Petrov, que personalmente disfruté inmensamente.

Resulta que si está investigando límites de este tipo donde son variables aleatorias independientes, las distribuciones de límites son solo ciertas distribuciones.

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

Hay muchas matemáticas dando vueltas entonces, lo que se traduce en varios teoremas que caracterizan completamente lo que sucede en el límite. Uno de esos teoremas se debe a Feller:

Teorema Sea una secuencia de variables aleatorias independientes, sea la función de distribución de , y sea una secuencia de constante positiva. Para que $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq norte} PAGS (El | X_{k} El | \geq ε {una}_{norte}) \to 0 0, por cada fijo ε > 0 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

y

\underset{X}{cenar} El | PAGS ({una}_{norte}^{- 1} \sum_{k = 1}^{norte} X_{k} < X) - Φ (X) El | \to 0 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

es necesario y suficiente que

\sum_{k = 1}^{norte} \int_{El | X El | \geq ε {una}_{norte}} re V_{k} (X) \to 0 0 por cada fijo ε > 0 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

{una}_{norte}^{- 2} \sum_{k = 1}^{norte} (\int_{El | X El | < {una}_{norte}} X^{2} re V_{k} (X) - {(\int_{El | X El | < {una}_{norte}} X re V_{k} (X))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

y

{una}_{norte}^{- 1} \sum_{k = 1}^{norte} \int_{El | X El | < {una}_{norte}} X re V_{k} (X) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

Este teorema te da una idea de cómo debería ser . $a_n$

La teoría general en el libro está construida de tal manera que la constante de normas está restringida de alguna manera, pero los teoremas finales que dan las condiciones necesarias y suficientes no dejan espacio para la constante de normas distintas de . $\sqrt{n}$

— mpiktas
fuente

4

s representa la desviación estándar de la muestra para la media muestral. s es la varianza muestral para la media muestral y es igual a S / n. Donde S es la estimación muestral de la varianza de la población. Dado que s = S / √n eso explica cómo aparece √n en la primera fórmula. Tenga en cuenta que habría un σ en el denominador si el límite fuera $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1) pero el límite se da como N (0, σ ). Como S es una estimación consistente de σ, se usa en la segunda ecuación para sacar σ del límite. $^2$ $_n$

— Michael R. Chernick
fuente

¿Qué pasa con la otra parte (más básica e importante) de la pregunta: ¿por qué y no alguna otra medida de dispersión?

s_{n}

$s_n$

— whuber

@whuber Eso puede estar en discusión pero no fue parte de la pregunta. El OP solo quería saber por qué s y √n aparecen en la fórmula para el CLT. Por supuesto, S está ahí porque es consistente para σ y en esa forma de CLT se elimina σ.

_{n}

$_n$

_{n}

$_n$

— Michael R. Chernick

1

Para mí no está nada claro que esté presente porque es "consistente para ". ¿Por qué eso no implica también, digamos, que debería usarse para normalizar estadísticas de valor extremo (que no funcionaría)? ¿Me estoy perdiendo algo simple y evidente? Y, para repetir el OP, ¿por qué no usar todo, eso es consistente para !

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

El teorema como se indica tiene convergencia a N (0,1), por lo que para lograr eso, o bien debe conocer σ y usarlo, o usar una estimación consistente que funcione según el teorema de Slutsky, creo. ¿No estaba claro?

— Michael R. Chernick

No creo que estuvieras claro; Solo creo que puede faltar un punto importante. Después de todo, para muchas distribuciones podemos obtener una distribución normal limitante usando el IQR en lugar de pero el resultado no es tan claro (la SD de la distribución limitante depende de la distribución con la que comenzamos). Solo estoy sugiriendo que esto merece ser llamado y explicado. ¡No será tan obvio para alguien que no tiene la intuición desarrollada por 40 años de estandarizar todas las distribuciones que encuentran!

s_{n}

$s_n$

— whuber

2

Intuitivamente, si para algunos deberíamos esperar que sea aproximadamente igual a ; Parece una expectativa bastante razonable, aunque no creo que sea necesario en general. La razón de en la primera expresión es que la varianza de va a como y entonces está inflando la varianza para que la expresión solo tenga una varianza igual a . En la segunda expresión, el término se define como $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ mientras que la varianza del numerador crece como , entonces nuevamente tenemos que la varianza de la expresión completa es una constante ( en este caso). $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

Esencialmente, sabemos que algo "interesante" está sucediendo con la distribución de , pero si no lo adecuadamente, no podremos verlo. He escuchado que esto se describe a veces como la necesidad de ajustar el microscopio. Si no explotamos (por ejemplo) by entonces solo tenemos en distribución por la ley débil; Un resultado interesante en sí mismo pero no tan informativo como el CLT. Si inflamos por algún factor que está dominado por , todavía obtenemos mientras que cualquier factor que domina $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ da . Resulta que es el aumento correcto para poder ver lo que está sucediendo en este caso (nota: toda la convergencia aquí está en distribución; hay otro nivel de aumento que es interesante para una convergencia casi segura, lo que da lugar a a la ley del logaritmo iterado). $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— chico
fuente

44

Una pregunta más fundamental, que debe abordarse primero, es por qué el SD se utiliza para medir la dispersión. ¿Por qué no el momento central absoluto para algún otro valor de ? ¿O por qué no el IQR o alguno de sus parientes? Una vez que se contesta, a continuación propiedades simples de covarianza de inmediato dan la dependencia (como @ Gui11aume ha explicado recientemente.)

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@whuber Estoy de acuerdo, por eso presenté esto como heurístico. No estoy seguro de que sea susceptible de una explicación simple, aunque me encantaría escucharla. Para mí, no estoy seguro de tener una razón más simple y explicable en el pasado "porque el término cuadrado es el término relevante en la expansión de Taylor de la función característica una vez que resta la media".

— chico