Simulando convergencia en probabilidad a una constante

Los resultados asintóticos no pueden ser probados por simulación por computadora, porque son declaraciones que involucran el concepto de infinito. Pero deberíamos poder tener la sensación de que las cosas realmente marchan como la teoría nos lo dice.

Considere el resultado teórico

lim_{n \to \infty} P (| X_{n} | > ϵ) = 0, ϵ > 0

$\lim_{n\rightarrow\infty}P(|X_n|>\epsilon) = 0, \qquad \epsilon >0$

donde $X_n$ es una función de $n$ variables aleatorias, digamos distribuidas de manera idéntica e independiente. Esto dice que $X_n$ converge en probabilidad a cero. El ejemplo arquetípico aquí, supongo, es el caso donde $X_n$ es la media de la muestra menos el valor común esperado de los iidrv de la muestra,

X_{n} = \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - E [Y_{1}]

$X_n = \frac 1n\sum_{i=1}^nY_i - E[Y_1]$

PREGUNTA: ¿Cómo podríamos demostrar de manera convincente a alguien que la relación anterior "se materializa en el mundo real", utilizando los resultados de la simulación por computadora de muestras necesariamente finitas?

Tenga en cuenta que elegí específicamente la convergencia a una constante .

Proporciono a continuación mi enfoque como respuesta, y espero mejores.

ACTUALIZACIÓN: Algo en la parte posterior de mi cabeza me molestó, y descubrí qué. Desenterré una pregunta anterior en la que se realizó una discusión muy interesante en los comentarios a una de las respuestas . Allí, @Cardinal proporcionó un ejemplo de un estimador que es consistente pero que su varianza permanece no nula y finita asintóticamente. Entonces, una variante más difícil de mi pregunta es: ¿cómo mostramos por simulación que una estadística converge en probabilidad a una constante, cuando esta estadística mantiene asintóticamente la varianza finita y no nula?

— Alecos Papadopoulos
fuente

@Glen_b Viniendo de ti, esto es el equivalente a una insignia. Gracias.

— Alecos Papadopoulos

He estado pensando en esto de vez en cuando y todo lo que se me ocurre es esa 'concentración en torno al argumento malo'; Espero que algunas de las personas inteligentes aquí tengan tiempo para escribir algo interesante. (+1, por supuesto!)

— ekvall

Pienso en como una función de distribución (complementaria en el caso específico). Como quiero usar la simulación por computadora para demostrar que las cosas tienden de la manera en que el resultado teórico nos dice, necesito construir la función de distribución empírica de, o la distribución de frecuencia relativa empírica, y luego de alguna manera muestran que a medida que aumenta, los valores de concentrarse "más y más" a cero. $P()$ $|X_n|$ $n$ $|X_n|$

Para obtener una función de frecuencia relativa empírica, necesito (mucho) más de una muestra que aumenta de tamaño, porque a medida que aumenta el tamaño de la muestra, la distribución decambios para cada diferente . $|X_n|$ $n$

Entonces necesito generar a partir de la distribución de las de , "en paralelo", digamos en miles, cada una de un tamaño inicial , digamos en decenas de miles. Necesito entonces calcular el valor dede cada muestra (y para el mismo ), es decir, obtener el conjunto de valores . $Y_i$ $m$ $m$ $n$ $n$ $|X_n|$ $n$ $\{|x_{1n}|, |x_{2n}|,...,|x_{mn}|\}$

Estos valores pueden usarse para construir una distribución empírica de frecuencia relativa. Teniendo fe en el resultado teórico, espero que "mucho" de los valores deestará "muy cerca" de cero, pero por supuesto, no todos. $|X_n|$

Entonces, para mostrar que los valores dede hecho, marcho hacia cero en números cada vez mayores, tendría que repetir el proceso, aumentando el tamaño de la muestra para decir , y mostrar que ahora la concentración a cero "ha aumentado". Obviamente, para mostrar que ha aumentado, se debe especificar un valor empírico para . $|X_n|$ $2n$ $\epsilon$

¿Sería eso suficiente? ¿Podríamos formalizar de alguna manera este "aumento de la concentración"? ¿Podría este procedimiento, si se realiza en más pasos de "aumento del tamaño de la muestra", y el uno está más cerca del otro, proporcionarnos alguna estimación sobre la tasa real de convergencia , es decir, algo así como "masa de probabilidad empírica que se mueve por debajo del umbral por cada "de, digamos, mil? $n$

O, examine el valor del umbral para el cual, digamos que el % de la probabilidad se encuentra debajo, y vea cómo este valor de se reduce en magnitud. $90$ $\epsilon$

UN EJEMPLO

Considere que los son y así $Y_i$ $U(0,1)$

| X_{n} | = | \frac{1}{n} \sum_{i = 1}^{n} Y_{i} - \frac{1}{2} |

$|X_n| = \left|\frac 1n\sum_{i=1}^nY_i - \frac 12\right|$

Primero generamos muestras de tamaño cada una. La distribución de frecuencia relativa empírica deparece $m=1,000$ $n=10,000$ $|X_{10,000}|$ ingrese la descripción de la imagen aquí

y notamos que el % de los valores deson más pequeños que . $90.10$ $|X_{10,000}|$ $0.0046155$

A continuación, aumento el tamaño de la muestra a . Ahora la distribución empírica de frecuencia relativa deparece y notamos que el % de los valores deestán por debajo de . Alternativamente, ahora el % de los valores caen por debajo de . $n=20,000$ $|X_{20,000}|$ ingrese la descripción de la imagen aquí $91.80$ $|X_{20,000}|$ $0.0037101$ $98.00$ $0.0045217$

¿Te convencería tal demostración?

— Alecos Papadopoulos
fuente

No, ninguna de esas demostraciones me convencería, si eso fuera todo lo que se ofrece. No puede distinguir entre el resultado reivindicado y un resultado en el que hay una cantidad muy pequeña de contaminación de una distribución distinta de cero. Cualquier simulación por computadora, para ser verdaderamente persuasiva, debe ir acompañada de un razonamiento que descarte tales fenómenos. (Recientemente realicé una serie de simulaciones que salieron a un tamaño de muestra de , eso no es un error tipográfico, ¡pero los resultados no me convencieron, aunque fueron muy sugerentes!)

10^{1000}

$10^{1000}$

— whuber

@whuber Lo que escribes suena muy interesante. ¿Estas simulaciones que mencionó se basaron en algunos datos reales iniciales, a partir de qué distribuciones se estimaron y luego se generaron datos artificiales adicionales? ¿O fue artificial desde el principio? Si la confidencialidad no es un problema, y el tiempo lo permite, personalmente me gustaría ver una respuesta suya para dar una idea de cómo evolucionaron estas simulaciones y por qué la duda persiste.

— Alecos Papadopoulos

Fueron datos artificiales. Realicé estas simulaciones para apoyar un comentario en stats.stackexchange.com/questions/104875/… . Verá de inmediato cómo se puede realizar una simulación tan grande: para generar una muestra de partir de una distribución de Bernoulli , simplemente dibuje un valor único a partir de una distribución Binomial . Cuando es suficientemente grande, también puede dibujar un valor de una distribución Normal . El truco principal es hacer esto con una precisión de dígitos :-).

N

$N$

(1 / 2)

$(1/2)$

(N, 1 / 2)

$(N,1/2)$

N

$N$

(N / 2, \sqrt{N} / 2)

$(N/2, \sqrt{N}/2)$

1000

$1000$

— whuber

@Whuber Gracias, trabajaré en ello. Por cierto, la pregunta que mencionas, la respuesta allí y tus comentarios, me han llevado a investigar más profundamente tanto la distribución asintótica de la varianza de la muestra a partir de muestras no normales, como la aplicabilidad del teorema de Slutsky en la forma en que es usado en la respuesta. Espero tener eventualmente algunos resultados para compartir.

— Alecos Papadopoulos