Prueba de varianza finita?

¿Es posible probar la finitud (o existencia) de la varianza de una variable aleatoria dada una muestra? Como nulo, o bien {la varianza existe y es finita} o {la varianza no existe / es infinita} sería aceptable. Filosóficamente (y computacionalmente), esto parece muy extraño porque no debería haber diferencia entre una población sin varianza finita y una con una varianza muy muy grande (digamos> ), así que no espero que este problema pueda ser resuelto$10^{400}$

Un enfoque que me habían sugerido fue a través del Teorema del límite central: suponiendo que las muestras son id y la población tiene una media finita, se podría verificar, de alguna manera, si la media muestral tiene el error estándar correcto al aumentar el tamaño de la muestra. Sin embargo, no estoy seguro de creer que este método funcionaría. (En particular, no veo cómo convertirlo en una prueba adecuada).

No, esto no es posible, porque una muestra finita de tamaño no puede distinguir de manera confiable entre, por ejemplo, una población normal y una población normal contaminada por una cantidad de una distribución de Cauchy donde >> . (Por supuesto, el primero tiene una varianza finita y el segundo tiene una varianza infinita). Por lo tanto, cualquier prueba completamente no paramétrica tendrá una potencia arbitrariamente baja contra tales alternativas.$n$$1/N$$N$$n$

No puede estar seguro sin conocer la distribución. Pero hay ciertas cosas que puede hacer, como mirar lo que podría llamarse la "varianza parcial", es decir, si tiene una muestra de tamaño , dibuja la varianza estimada de los primeros términos, con de 2 a .$N$$n$$n$$N$

Con una variación de población finita, espera que la variación parcial pronto se establezca cerca de la variación de población.

Con una varianza de población infinita, verá saltos en la varianza parcial seguidos de disminuciones lentas hasta que aparezca el siguiente valor muy grande en la muestra.

Esta es una ilustración con variables aleatorias normales y de Cauchy (y una escala logarítmica)

Esto puede no ayudar si la forma de su distribución es tal que se necesita un tamaño de muestra mucho mayor que el que tiene para identificarlo con suficiente confianza, es decir, cuando los valores muy grandes son bastante (pero no extremadamente) raros para una distribución con variación finita, o son extremadamente raros para una distribución con varianza infinita. Para una distribución dada, habrá tamaños de muestra que es más probable que revelen su naturaleza; a la inversa, para un tamaño de muestra dado, hay distribuciones que tienen más probabilidades de no ocultar su naturaleza para ese tamaño de muestra.

Aquí hay otra respuesta. Suponga que puede parametrizar el problema, algo como esto:

$$H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1).$$

Entonces podría hacer una prueba de razón de probabilidad de Neyman-Pearson ordinaria de versus H 1 . Tenga en cuenta que H 1 es Cauchy (varianza infinita) y H 0 es la t de Student habitual con 3 grados de libertad (varianza finita) que tiene PDF: f ( x | ν ) = Γ ( ν + $H_{0}$$H_{1}$$H_{1}$$H_{0}$ $t$

$$f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}},$$

para . Dados los datos de muestra aleatoria simple x 1 , x 2 , ... , x n , la prueba de razón de probabilidad rechaza H 0 cuando Λ ( x ) = ∏ n i = 1 f ( x i | ν = 1 $-\infty < x < \infty$$x_{1},x_{2},\ldots,x_{n}$$H_{0}$ dondek≥0se elige de modo que P(Λ(X)>

$$\Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k,$$ $k \geq 0$ $$P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha.$$

Es un poco de álgebra simplificar

$$\Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}.$$

Entonces, nuevamente, obtenemos una muestra aleatoria simple, calculamos y rechazamos H 0 si es demasiado grande. ¿Cuan grande? Esa es la parte divertida! Va a ser difícil (¿imposible?) Obtener una forma cerrada para el valor crítico, pero podríamos aproximarnos tan cerca como queramos, seguro. Aquí hay una forma de hacerlo, con R. Supongamos que , y para reír, digamos .$\Lambda(\mathbf{x})$$H_{0}$$\Lambda(\mathbf{x})$$\alpha = 0.05$$n = 13$

Generamos un montón de muestras bajo , calculamos para cada muestra y luego encontramos el 95º cuantil.$H_{0}$$\Lambda$

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

Esto resulta ser (después de algunos segundos) en mi máquina para ser , que después de multiplicado por ( $\approx 12.8842$ esk≈1,9859. Seguramente hay otras formas mejores de aproximar esto, pero solo estamos jugando.$(\sqrt{3}/2)^{13}$$k \approx 1.9859$

En resumen, cuando el problema es parametrizable, puede configurar una prueba de hipótesis como lo haría en otros problemas, y es bastante sencillo, excepto en este caso para algunos bailes de claqué cerca del final. Tenga en cuenta que sabemos por nuestra teoría que la prueba anterior es una prueba más poderosa de versus H 1 (en el nivel α ), por lo que no hay nada mejor que esto (medido por el poder).$H_{0}$$H_{1}$$\alpha$

Descargos de responsabilidad: este es un ejemplo de juguete. No tengo ninguna situación del mundo real en la que tenga curiosidad por saber si mis datos provienen de Cauchy en lugar de t de Student con 3 df. Y la pregunta original no decía nada acerca de los problemas parametrizados, parecía estar buscando un enfoque no paramétrico, que creo que fue abordado bien por los demás. El propósito de esta respuesta es para los futuros lectores que se topan con el título de la pregunta y buscan el enfoque clásico de los libros de texto polvorientos.

PD: puede ser divertido jugar un poco más con la prueba para probar , o algo más, pero no lo he hecho. Supongo que se pondría bastante feo bastante rápido. También pensé en probar diferentes tipos de distribuciones estables , pero nuevamente, fue solo un pensamiento.$H_{1}:\nu \leq 1$

$D\equiv Y_{1},Y_{2},\dots,Y_{N}$

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Una hipótesis tiene varianza finita, una tiene varianza infinita. Solo calcule las probabilidades:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau}$$

$\frac{P(H_{0}|I)}{P(H_{A}|I)}$

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

$L_{1}<\mu,\tau<U_{1}$$L_{2}<\sigma,\tau<U_{2}$

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

$s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$$\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

Y ahora tomando la razón, encontramos que las partes importantes de las constantes de normalización se cancelan y obtenemos:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Y todas las integrales siguen siendo adecuadas en el límite para que podamos obtener:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

$$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

$\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

Y obtenemos como forma analítica final las probabilidades de trabajo numérico:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Por lo tanto, esto puede considerarse como una prueba específica de varianza finita versus infinita. También podríamos hacer una distribución T en este marco para obtener otra prueba (pruebe la hipótesis de que los grados de libertad son mayores que 2).

El contraejemplo no es relevante para la pregunta formulada. Desea probar la hipótesis nula de que una muestra de variables aleatorias iid se extrae de una distribución que tiene una varianza finita, a un nivel de significancia dado . Recomiendo un buen texto de referencia como "Inferencia estadística" de Casella para comprender el uso y el límite de las pruebas de hipótesis. Con respecto a ht en la variación finita, no tengo una referencia útil, pero el siguiente artículo aborda una versión similar, pero más fuerte, del problema, es decir, si las colas de distribución siguen una ley de potencia.

DISTRIBUCIONES DE LA LEY DE PODER EN DATOS EMPÍRICOS SIAM Review 51 (2009): 661-703.

Un enfoque que me habían sugerido fue a través del Teorema del límite central.

Esta es una vieja pregunta, pero quiero proponer una forma de usar el CLT para probar colas grandes.

$X = \{X_1,\ldots,X_n\}$$Y = \{Y_1,\ldots,Y_n\}$$X$

$$Z = \sqrt{n}\times\frac{mean(Y) - mean(X)}{sd(Y)},$$

también está cerca de la función de distribución N (0,1).

Ahora todo lo que tenemos que hacer es realizar una gran cantidad de bootstraps y comparar la función de distribución empírica de las Z observadas con la edf de un N (0,1). Una forma natural de hacer esta comparación es la prueba de Kolmogorov-Smirnov .

Las siguientes imágenes ilustran la idea principal. En ambas imágenes, cada línea coloreada se construye a partir de la realización de 1000 observaciones de la distribución particular, seguido de 200 muestras de arranque de tamaño 500 para la aproximación del ecdf Z. La línea continua negra es el N (0,1) cdf.