Independencia de la media muestral y la varianza muestral en la distribución binomial

Deje . Sabemos que y . ¿Esto implica que la media de la muestra y la varianza de la muestra son dependientes entre sí? ¿O simplemente significa que la varianza de la población se puede escribir en función de la media de la población ?$X\sim\mathrm{Binomial}(n,p)$$\mathrm{E}[X]=np$$\mathrm{Var}[X]=np(1-p)$$\bar x$$s^2$

$\bar x$ y son variables aleatorias. Podemos resolver su distribución conjunta. Probemos el caso no trivial más simple posible, el de una muestra de tamaño de una distribución Binomial . Solo hay cuatro posibilidades para esa muestra, que se tabulan junto con sus probabilidades (calculadas a partir de la independencia de los dos elementos de la muestra):$s^2$$2$$(1,p)$

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

La media predice perfectamente la varianza en este ejemplo. Por lo tanto, siempre que todas las probabilidades sean distintas de cero (es decir, no es ni ni ), la media muestral y la varianza muestral no son independientes.$p$$0$$1$

Una pregunta interesante es si, en una familia de distribuciones, la media determina la varianza, la media muestral y la varianza muestral pueden ser independientes. La respuesta es sí: tome cualquier familia de distribuciones normales en la que la varianza depende de la media, como el conjunto de todas las distribuciones normales . No importa cuál de estas distribuciones rija la muestra, la media muestral y la varianza muestral serán independientes, porque ese es el caso de cualquier distribución Normal.$(\mu, \mu^2)$

Este análisis sugiere que las preguntas sobre la estructura de una familia de distribuciones (que conciernen a , , , etc.) no tienen relación con las cuestiones de independencia de las estadísticas de las muestras de cualquier elemento de la familia.$n$$p$$\mu$

La propiedad de que, para una muestra iid, la media muestral y la varianza muestral son independientes, es una caracterización de la distribución normal: para ninguna otra distribución, dicha propiedad es válida.

Ver Patel, JK, & Read, CB (1982). Manual de la distribución normal , p. 81 en la primera edición de 1982, en el capítulo "Caracterizaciones" (puede haber cambiado de página en la segunda edición de 1996).

Entonces, para cualquier otra distribución, la media muestral y la varianza muestral son estadísticamente dependientes.

El resultado general con respecto a la media muestral y la varianza muestral de una muestra iid de cualquier distribución que tenga momentos hasta el 3d, es el siguiente (usando el estimador imparcial para la varianza):

$$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$$

En palabras, la covarianza entre la media muestral y la varianza muestral es igual al tercer momento central, dividido por $n$. Consecuencias:

1) A medida que aumenta el tamaño de la muestra, los dos tienden a no estar correlacionados.

2) Para cualquier distribución que tenga el tercer momento central igual a cero, no están correlacionadas (aunque siguen siendo dependientes, para todas las distribuciones excepto la normal). Por supuesto, esto incluye todas las distribuciones simétricas sobre su media, pero también otras distribuciones que no son simétricas sobre su media, pero aún así, tienen el tercer momento central igual a cero , vea este hilo .

Un caso extremo es $\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ Considere una muestra de tamaño (capital) $N:$

$$\begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since $x_k = 0$ or $1$, so $x_k^2=x_k$} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align}$$ Así cuando (minúscula) $n$ es $1,$entonces la media muestral determina la varianza muestral, por lo que están lejos de ser independientes. Pero la varianza muestral no determina completamente la media muestral, ya que hay dos valores de$\overline x$ que producen el mismo valor de $\overline x(1-\overline x).$

Cuando ambos $np$ y $n(1-p)$ son grandes, entonces espero que la media de la muestra y la varianza de la muestra sean casi independientes ya que la distribución es casi normal.