Teorema del límite central versus ley de grandes números

14

El teorema del límite central establece que la media de las variables iid, cuando $N$ va al infinito, se distribuye normalmente.

Esto plantea dos preguntas:

¿Podemos deducir de esto la ley de los grandes números? Si la ley de los números grandes dice que la media de una muestra de valores de una variable aleatoria es igual a la media verdadera $\mu$ cuando $N$ va al infinito, entonces parece aún más fuerte decir que (como dice el límite central) que el valor se convierte en $\mathcal N(\mu, \sigma)$ donde $\sigma$ es la desviación estándar. ¿Es justo decir que el límite central implica la ley de grandes números?
¿El teorema del límite central se aplica a la combinación lineal de variables?

probability central-limit-theorem law-of-large-numbers

— usuario9097
fuente

55

Su afirmación de que "el teorema del límite central establece que la media de las variables iid, cuando

N

$N$ va al infinito, se distribuye normalmente" es incorrecta. Vea mi respuesta a esta pregunta reciente que plantea problemas similares. Se publicó otra respuesta a esa pregunta, pero se eliminó poco después, y la discusión que siguió a esa respuesta, ahora desaparecida, también discutió estos temas.

— Dilip Sarwate

1

¿Por qué la media muestral converge a la media poblacional

un resultado más débil que la media muestral converge a una muestra desde una distribución

?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate

@DilipSarwate Gracias por la bandera, pero su comentario es IMO suficiente para revelar conceptos erróneos en la pregunta y aparecieron respuestas razonables.

10

El OP dice

El teorema del límite central establece que la media de las variables iid, cuando N va al infinito, se distribuye normalmente.

Tomaré esto para significar que es la creencia del OP que para iid variables aleatorias con media y desviación estándar , la función de distribución acumulativa de $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$ converge a la función de distribución acumulativa de, una variable aleatoria normal con mediay desviación estándar. O bien, el OP considera reordenamientos menores de esta fórmula, por ejemplo, la distribución deconverge a la distribución de, o la distribución de

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ converge a la distribución de

, la variable aleatoria normal estándar. Tenga en cuenta como ejemplo que estas declaraciones implican que

N (0, 1)

$\mathcal N(0,1)$

como

.

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

El OP continúa diciendo

Esto plantea dos preguntas:

¿Podemos deducir de esto la ley de los grandes números? Si la ley de los números grandes dice que la media de una muestra de valores de una variable aleatoria es igual a la media verdadera μ cuando N va al infinito, entonces parece aún más fuerte decir que (como dice el límite central) que el valor se convierte en N ( μ, σ) donde σ es la desviación estándar.

La ley débil de los números grandes dice que para iid variables aleatorias con media finita , dado cualquier , Tenga en cuenta que no es necesario suponer que la desviación estándar es finita. $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

Entonces, para responder la pregunta del OP,

$n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
A partir de una declaración correcta del teorema del límite central, en el mejor de los casos se puede deducir solo una forma restringida de la ley débil de los números grandes que se aplican a variables aleatorias con media finita y desviación estándar. Pero la ley débil de los grandes números también se aplica a las variables aleatorias, como las variables aleatorias de Pareto con medias finitas pero desviación estándar infinita.
No entiendo por qué decir que la media muestral converge a una variable aleatoria normal con desviación estándar distinta de cero es una afirmación más fuerte que decir que la media muestral converge a la media poblacional, que es una constante (o una variable aleatoria con desviación estándar cero si te gusta).

— Dilip Sarwate
fuente

Me pregunto qué fue lo que la persona que rechazó mi respuesta encontró objetable o incorrecta en lo que dije.

— Dilip Sarwate

7

$\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$ decir Entonces, no, la convergencia en la distribución no implica la ley de los grandes números, a menos que tenga un espacio de probabilidad común para todas las variables.

— StasK
fuente

(+1) Lo que dices es cierto, y un punto muy importante. La matriz triangular permite que las variables en cada "fila" vivan en espacios de probabilidad diferentes que las filas anteriores. Por otro lado, si decimos a priori que estamos considerando una secuencia de variables aleatorias iid, entonces, implícitamente, deben existir en un espacio subyacente común para que la noción de independencia tenga mucho sentido.

— cardenal

@cardinal: entonces, si entiendo correctamente, en el caso "simple" donde todos se definen en el mismo espacio, ¿es el caso que la centralidad implica la ley de los grandes números? ¿o no?

— user9097

@ user9097 Dado que ahora estamos entrando en los reinos de los detalles finos, ¿sobre qué ley de los grandes números se pregunta? ¿La ley débil o la ley fuerte?

— Dilip Sarwate

Ese punto es cierto solo para la ley fuerte de grandes números , no para la ley débil

— kjetil b halvorsen

4

$\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

$X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

En otras palabras, una combinación lineal de variables aleatorias no convergerá a una combinación lineal de normales bajo el CLT, solo una normal. Esto tiene sentido porque una combinación lineal de variables aleatorias es solo una variable aleatoria diferente a la que CLT se puede aplicar directamente.

— Daniel Johnson
fuente

1

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$

w_{n i} = 1 / n

$w_{ni} = 1/n$

i = 1, \dots, n

$i = 1,\ldots,n$ , una pregunta natural que uno podría preguntarse es qué sucede cuando reemplazamos estos pesos "uniformes" con otros (más arbitrarios). ¿Cuándo todavía recibimos un CLT? El CLT de Lindeberg se puede usar para llegar a esta pregunta.

— cardenal

Creo que con condiciones estrictas mi resultado aún dirá algo sobre

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$ . Primero definamos estas condiciones y luego consideremos cómo debilitarlas. Echemos

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$ y

w_{j}

$w_j$ ser una secuencia única e infinita de reales no negativos. Si el número de distintos

w_{j}

$w_{j}$ es finito y cada uno aparece infinitamente a menudo en la secuencia, mi resultado debería mantenerse como cada

w_{j} X

$w_jX$ defines a random variable and this fits into the 'linear combination' framework I gave above. Then a good question would be if we could allow the number of distinct

w

$w$ scale with

n

$n$ .

— Daniel Johnson

1

This is a good comment, and a nice idea, however I believe it would need some modification to work. Assume wlog that

E X = 0

$\mathbb E X = 0$ . Construct your

w_{j}

$w_j$ as follows. Let

w_{1} = 1

$w_1 = 1$ ,

w_{2} = 0

$w_2 = 0$ . Now, define

w_{j}

$w_j$ inductively as follows: Set

w_{j} = 0

$w_j = 0$ until

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$ . Then append ones until

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$ . Append zeros again, then ones. Repeat ad infinitum. Now,

0

$0$ and

1

$1$ both occur an infinite number of times, but the variance of the rescaled mean oscillates between

1 / 2

$1/2$ and

1 / 4

$1/4$ (roughly). So, your stated sequence cannot converge in distribution.

— cardinal

(Note: There is nothing special about the choice of

0

$0$ and

1

$1$ , here. Also, strictly speaking the procedure you describe in the comment does not really fit within the linear-combination framework of your answer.)

— cardinal