Cuando el Teorema del límite central y la Ley de grandes números no están de acuerdo

19

Esto es esencialmente una réplica de una pregunta que encontré en math.se , que no obtuvo las respuestas que esperaba.

Sea una secuencia de variables aleatorias independientes, distribuidas idénticamente, con y . $\{ X_i \}_{i \in \mathbb{N}}$ $\mathbb{E}[X_i] = 1$ $\mathbb{V}[X_i] = 1$

Considere la evaluación de

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n})

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)$

Esta expresión tiene que ser manipulada ya que, como es, ambos lados del evento de desigualdad tienden al infinito.

A) PRUEBA LA SUBTRACCIÓN

Antes de considerar la declaración de limitación, reste $\sqrt{n}$ de ambos lados:

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} - \sqrt{n} \leq \sqrt{n} - \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = Φ (0) = \frac{1}{2}

$\lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i -\sqrt{n} \leq \sqrt{n}-\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n (X_i - 1) \leq 0\right) \\ = \Phi(0) = \frac{1}{2}$

la última igualdad del CLT, donde $\Phi()$ es la función de distribución normal estándar.

B) INTENTE LA MULTIPLICACIÓN

Multiplique ambos lados por $1/\sqrt{n}$

lim_{n \to \infty} P (\frac{1}{\sqrt{n}} \cdot \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \frac{1}{\sqrt{n}} \cdot \sqrt{n}) = lim_{n \to \infty} P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\lim_{n \to \infty} \mathbb{P}\left(\frac {1}{\sqrt{n}}\cdot \frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \frac {1}{\sqrt{n}}\cdot\sqrt{n} \right) = \lim_{n \to \infty} \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^n X_i \leq 1\right)$

= lim_{n \to \infty} P ({\bar{X}}_{n} \leq 1) = lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1

$= \lim_{n \to \infty} \mathbb{P}\left(\bar X_n \leq 1\right) = \lim_{n \to \infty}F_{\bar X_n}(1) = 1$

donde $F_{\bar X_n}()$ es la función de distribución de la media muestral $\bar X_n$ , que por el LLN converge en probabilidad (y también en distribución) a la constante $1$ , de ahí la última igualdad.

Entonces obtenemos resultados contradictorios. ¿Cuál es el correcto? ¿Y por qué el otro está equivocado?

probability mathematical-statistics asymptotics

— Alecos Papadopoulos
fuente

1

@JuhoKokkala Claro, aquí está, math.stackexchange.com/q/2830304/87400 Simplemente ignore el error del OP allí.

— Alecos Papadopoulos

2

Creo que el problema está en la segunda declaración invocando al LLN

— Glen_b -Reinstate Monica

3

Te seguí hasta la igualdad final. Está claramente equivocado, porque esperaríamos que aproxime a para la gran y, por lo tanto, su límite no debería ser igual a ¿Cuál es la justificación prevista para ello? No es la declaración de ninguna versión de una ley de grandes números lo que sé.

P ({\bar{X}}_{n} \leq 1)

$\mathbb{P}(\bar X_n\le 1)$

1 / 2

$1/2$

n

$n$

1.

$1.$

— whuber

1

@whuber Supuestamente, que toda probabilidad para la media muestral se concentra en el valor . Si esto está mal, creo que es importante que el error se detalle en una respuesta, ese es el propósito de esta pregunta.

1

$1$

— Alecos Papadopoulos

2

Alecos, mi preocupación no es si el paso final es incorrecto: se trata de tus razones para hacerlo. ¿No es eso, después de todo, de qué se trata la pregunta? Todavía no he leído nada de ti dando esas razones y dudaría incluso en adivinar cuáles podrían ser. Aunque se refiera a un "LLN", creo que la resolución de su problema probablemente dependerá de la descripción precisa de lo que entiende "LLN" para afirmar.

— whuber

15

El error aquí es probable en el siguiente hecho: la convergencia en la distribución supone implícitamente que converge a en los puntos de continuidad de . Como la distribución límite es de una variable aleatoria constante, tiene una discontinuidad de salto en , por lo tanto, es incorrecto concluir que el CDF converge a . $F_n(x)$ $F(x)$ $F(x)$ $x=1$ $F(x)=1$

— Alex R.
fuente

1

La forma en que definimos la convergencia en la distribución no excluye la posibilidad de convergencia en los puntos de discontinuidad, simplemente no lo requiere .

— Alecos Papadopoulos

1

Pero si la convergencia en la distribución no requiere que converja a , ¿en qué se basa la última igualdad en la pregunta?

F_{n} (1)

$F_n(1)$

F (1)

$F(1)$

— Juho Kokkala

1

@Juho No se basa en nada, ese es el quid de la cuestión. No existe un teorema que le permita a uno hacer la última ecuación en la pregunta.

— whuber

1

@AlecosPapadopoulos: Nunca dije que no excluye la posibilidad. Estoy diciendo implícitamente que necesitas justificar la última igualdad más allá de lo que se te da por convergencia en la distribución. Por ejemplo, si es Bernoulli, entonces sería cierto.

X_{n}

$X_n$

— Alex R.

11

Para iid variables aleatorias con defina $X_i$ $E[X_i]= \operatorname{var}(X_i)=1$ Ahora, el CLT dice que por cadanúmero realfijo,. El OP aplica el CLT para evaluar

\begin{aligned} Z_{n} & = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i}, \\ Y_{n} & = \frac{1}{n} \sum_{i = 1}^{n} X_{i} . \end{aligned}

$\begin{align}Z_n &= \frac{1}{\sqrt{n}}\sum_{i=1}^n X_i,\\ Y_n &= \frac{1}{{n}}\sum_{i=1}^n X_i. \end{align}$

z

$z$

lim_{n \to \infty} F_{Z_{n}} (z) = Φ (z - 1)

$\lim_{n\to\infty} F_{Z_n}(z) = \Phi(z-1)$

lim_{n \to \infty} P (Z_{n} \leq \frac{1}{\sqrt{n}}) = Φ (0) = \frac{1}{2} .

$\lim_{n\to\infty}P\left(Z_n \leq \frac{1}{\sqrt{n}}\right) = \Phi(0) = \frac 12.$

Como las otras respuestas, así como varios de los comentarios sobre la pregunta del OP, han señalado, es la evaluación del OP de que es sospechoso. Considere el caso especial cuando el iid son variables aleatorias discretas que toman valores y con igual probabilidad $\lim_{n\to\infty} P(Y_n \leq 1)$ $X_i$ $0$ $2$ . Ahora,puede tomartodos losvalores enteros incluso eny así, cuandoes impar, no puedo tomar en el valor dey por lo tanto $\frac 12$ $\sum_{i=1}^n X_i$ $[0,2n]$ $n$ $\sum_{i=1}^n X_i$ $n$ no puede asumir el valor. Además, dado que la distribución dees simétrica alrededor de, tenemos que tiene el valor $Y_n = \frac 1n \sum_{i=1}^n X_i$ $1$ $Y_n$ $1$ $P(Y_n \leq 1) = F_{Y_n}(1)$ siempre quesea impar. Por lo tanto, lasecuenciade números contiene lasubsecuencia $\frac 12$ $n$

P (Y_{1} \leq 1), P (Y_{2} \leq 1), \dots, P (Y_{n} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_2 \leq 1), \ldots, P(Y_n \leq 1), \ldots$

en el que todos los términos tienen valor

P (Y_{1} \leq 1), P (Y_{3} \leq 1), \dots, P (Y_{2 k - 1} \leq 1), \dots

$P(Y_1 \leq 1), P(Y_3 \leq 1), \ldots, P(Y_{2k-1} \leq 1), \ldots$

. Por otro lado, lasubsecuencia

estáconvergiendoa

. Por lo tanto,

no existe y las afirmaciones de convergencia de

\frac{1}{2}

$\frac 12$

P (Y_{2} \leq 1), P (Y_{4} \leq 1), \dots, P (Y_{2 k} \leq 1), \dots

$P(Y_2 \leq 1), P(Y_ 4\leq 1), \ldots, P(Y_{2k} \leq 1), \ldots$

1

$1$

lim_{n \to \infty} P (Y_{n} \leq 1)

$\lim_{n\to\infty} P(Y_n \leq 1)$

a 1 debe verse con mucha sospecha.

P (Y_{n} \leq 1)

$P(Y_n\leq 1)$

— Dilip Sarwate
fuente

8

Su primer resultado es el correcto. Su error ocurre en la segunda parte, en la siguiente declaración errónea:

lim_{n \to \infty} F_{{\bar{X}}_{n}} (1) = 1.

$\lim_{n \rightarrow \infty} F_{\bar{X}_n}(1) = 1.$

Esta afirmación es falsa (el lado derecho debe ser $\tfrac{1}{2}$

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0.

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0.$

$\varepsilon > 0$ $|\bar{X}_n - 1| \leqslant \varepsilon$ $\bar{X}_n \leqslant 1$ $\bar{X}_n > 1$ $\lim_{n \rightarrow \infty} \mathbb{P} ( \bar{X}_n \leqslant 1 ) = 1$

— Reinstalar a Mónica
fuente

1

El resultado (erróneo de hecho) proviene de la implicación "convergencia en probabilidad implica convergencia en distribución". La pregunta no establece que la afirmación proviene directamente del LLN.

— Alecos Papadopoulos

@AlecosPapadopoulos: Convergencia en probabilidad hace implicar convergencia en la distribución. Nuevamente, la convergencia en la distribución se requiere solo en los puntos de continuidad. Pero, tal vez quisiste decir que la convergencia en la probabilidad no implica una convergencia puntual de distribución.

— Alex R.

@AlexR. No estoy seguro de dónde radica tu objeción. Creo que este problema está cubierto en mi propia respuesta.

— Alecos Papadopoulos

3

La convergencia en la probabilidad implica convergencia en la distribución. Pero ... ¿qué distribución? Si la distribución limitante tiene una discontinuidad de salto, entonces los límites se vuelven ambiguos (porque son posibles múltiples valores en la discontinuidad).

$F_{\bar X_n}()$ $\bar X_n$ $1$

Esto no es correcto, y también es fácil demostrar que no puede ser correcto (diferente del desacuerdo entre CLT y LLN). La distribución limitante (que puede verse como el límite para una secuencia de variables distribuidas normales) debe ser:

F_{{\bar{X}}_{\infty}} (x) = {\begin{cases} 0 & for x < 1 \\ 0.5 & for x = 1 \\ 1 & for x > 1 \end{cases}

$F_{\bar{X}_\infty}(x) = \begin{cases} 0 & \text{for } x<1 \\ 0.5& \text{for } x=1\\ 1 & \text{for } x>1 \end{cases}$

$\epsilon>0$ $x$ $|F_{\bar{X}_n}(x)-F_{\bar{X}_\infty}(x)|<\epsilon$ $n$ $F_{\bar{X}_\infty}(1)=1$ $F_{\bar{X}_\infty}(1)=0.5$

Límite de una distribución normal.

Puede ser útil escribir explícitamente la suma utilizada para invocar la ley de grandes números.

{\bar{X}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i} \sim N (1, \frac{1}{n})

$\bar{X}_n=\frac{1}{n}\sum_{i=1}^n X_i \sim N(1,\frac{1}{n})$

^{$n\to \infty$ $\hat{X}_n$}

Usando esa expresión, es más fácil ver lo que sucede debajo del capó, en lugar de usar las leyes prefabricadas del CLT y LLN que oscurecen el razonamiento detrás de las leyes.

Convergencia en probabilidad

La ley de los grandes números te da 'convergencia en probabilidad'

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > ϵ) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>\epsilon) =0$

$\epsilon > 0$

^{$\lim_{n \to \infty} P(|\frac{1}{\sqrt{n}}\sum \left( X_i-1 \right)|>\frac{\epsilon}{n}) =0$}

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | > 0) = 0

$\lim_{n \to \infty} P(|\bar{X}_n-1|>0) =0$

^{$\bar{X}_1, \bar{X}_2, \bar{X}_3, ... \bar{X}_n$ $\lim_{n \to \infty} P(\bar{X}_n = 1)$}

Función de paso lateral y función delta de Dirac

$\bar{X}_n$

F_{{\bar{X}}_{n}} (x) = \frac{1}{2} (1 + erf \frac{x - 1}{\sqrt{2 / n}})

$F_{\bar{X}_n}(x) = \frac{1}{2} \left(1 + \text{erf} \frac{x-1}{\sqrt{2/n}} \right)$

$\lim_{n \to \infty} F_{\bar{X}_n}(1) = 0.5$

Creo que este punto de vista resuelve intuitivamente su pregunta con respecto a 'mostrar que está mal' o al menos muestra que la pregunta sobre la comprensión de la causa de este desacuerdo de CLT y LLN es equivalente a la cuestión de entender la integral de la función delta de Dirac o una secuencia de distribuciones normales con una varianza que disminuye a cero.

— Sexto Empírico
fuente

2

x = 1 / 2

$x=1/2$

a

$a$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = F_{X}(a)$

X \leq a + \frac{1}{n}

$X \leq a+\frac{1}{n}$

lim_{n \to \infty} F_{X} (a + \frac{1}{n}) = lim_{n \to \infty} P (X \leq a + \frac{1}{n}) = P (lim_{n \to \infty} X \leq a + \frac{1}{n}) = P (X \leq a) = F_{X} (a)

$\lim_{n \to \infty} F_{X}(a+\frac{1}{n}) = \lim_{n \to \infty} P(X \leq a+\frac{1}{n}) = P(\lim_{n \to \infty} X \leq a+\frac{1}{n}) = P(X \leq a) = F_{X}(a)$

P

$P$

P

$P$

F (x)

$F(x)$

P

$P$

F (b) - F (a) = P (a < X \leq b)

$F(b)-F(a)=P(a<X\leq b)$

F

$F$

— Alex R.

2

Creo que ya debería estar claro que "el enfoque CLT" da la respuesta correcta.

Identifiquemos exactamente dónde falla el "enfoque LLN".

$\sqrt{n}$ $1/\sqrt{n}$

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - 1) \leq 0) = P (\frac{1}{n} \sum_{i = 1}^{n} X_{i} \leq 1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)=\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1) \leq 0\right) = \mathbb{P}\left(\frac{1}{n} \sum_{i=1}^nX_i \leq 1\right)$

$Z_n = \frac{1}{\sqrt{n}} \sum_{i=1}^n(X_i-1)$

P (\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} X_{i} \leq \sqrt{n}) = F_{Z_{n}} (0) = F_{{\bar{X}}_{n}} (1)

$\mathbb{P}\left(\frac{1}{\sqrt{n}} \sum_{i=1}^n X_i \leq \sqrt{n}\right)= F_{Z_n}(0) = F_{\bar X_n}(1)$

$\lim_{n\to \infty}F_{Z_n}(0)= \Phi(0) = 1/2$

$\bar X_n$ $\bar X_n$
$\bar X_n$ $1$

F_{1} (x) = {\begin{cases} 1 x \geq 1 \\ 0 x < 1 \end{cases} ⟹ F_{1} (1) = 1

$F_1(x) = \cases {1 \;\;\;\;x\geq 1 \\ 0 \;\;\;\;x<1} \implies F_1(1) = 1$

$\lim_{n\to \infty} F_{\bar X_n}(1) = F_1(1) = 1$

$1$ $F_1$ $\lim_{n\to \infty} F_{\bar X_n}(1)$ $F_1(1)$

$1/2$ $\lim_{n\to \infty} F_{\bar X_n}(1) = 1/2$

¿Aprendimos algo nuevo?

Yo hice. El LLN afirma que

lim_{n \to \infty} P (| {\bar{X}}_{n} - 1 | ⩽ ε) = 1 for all ε > 0

$\lim_{n \rightarrow \infty} \mathbb{P} \Big( |\bar{X}_n - 1| \leqslant \varepsilon \Big) = 1 \quad \quad \text{for all } \varepsilon > 0$

⟹ lim_{n \to \infty} [P (1 - ε < {\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big( 1-\varepsilon <\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

⟹ lim_{n \to \infty} [P ({\bar{X}}_{n} \leq 1) + P (1 < {\bar{X}}_{n} \leq 1 + ε)] = 1

$\implies \lim_{n \rightarrow \infty} \Big[ \mathbb{P} \Big(\bar{X}_n \leq 1\Big) + \mathbb{P} \Big( 1 <\bar{X}_n \leq 1+\varepsilon\Big)\Big] = 1$

$(1-\varepsilon, 1+\varepsilon)$

La declaración general aquí es, supongamos

X_{n} \to_{p} θ, h (n) (X_{n} - θ) \to_{d} D (0, V)

$X_n\to_p \theta,\;\;\; h(n)(X_n-\theta) \to_d D(0,V)$

$D$ $F_D$

lim_{n \to \infty} P [X_{n} \leq θ] = lim_{n \to \infty} P [h (n) (X_{n} - θ) \leq 0] = F_{D} (0)

$\lim_{n\to \infty} \mathbb P[X_n \leq \theta] = \lim_{n\to \infty}\mathbb P[h(n)(X_n-\theta) \leq 0] = F_D(0)$

$F_{\theta}(0)$

Además, este es un buen ejemplo de que, cuando la función de distribución de la variable aleatoria limitante tiene discontinuidades, entonces "convergencia en la distribución a una variable aleatoria" puede describir una situación en la que "la distribución limitante" puede estar en desacuerdo con la "distribución de la limitación variable aleatoria "en los puntos de discontinuidad. Estrictamente hablando, la distribución limitante para los puntos de continuidad es la de la variable aleatoria constante. Para los puntos de discontinuidad, podemos calcular la probabilidad limitante, como entidades "separadas".

— Alecos Papadopoulos
fuente

n \neq \infty

$n \neq \infty$

@MartijnWeterings Martijn, la motivación aquí fue ciertamente educativa, a) como una alerta a las discontinuidades, incluso en una situación tan "plana" como la convergencia a una constante, y también en general (destruyen la convergencia uniforme, por ejemplo), y b) un resultado sobre cómo se asigna la masa de probabilidad se vuelve interesante cuando la secuencia que converge en probabilidad a una constante, todavía tiene una varianza no nula.

— Alecos Papadopoulos

F (x)

$F(x)$

F (x)

$F(x)$

Los pensamientos originales sobre el LLN eran realmente opuestos (vea el razonamiento de Arbuthnot stats.stackexchange.com/questions/343268 ). "Es visible por lo que se ha dicho, que con un gran número de dados, A's Lot se volvería muy pequeño ... habría una pequeña parte de todas las posibilidades posibles, por suceder en cualquier momento asignable, que debe nacer un número igual de hombres y mujeres ".

— Sextus Empiricus