¿Por qué el error estándar de una proporción, para un n dado, es mayor para 0.5?

El error estándar de una proporción será el más grande que pueda ser para un N dado cuando la proporción en cuestión es 0.5, y se vuelve más pequeña cuanto más lejos sea la proporción de 0.5. Puedo ver por qué esto es así cuando miro la ecuación para el error estándar de una proporción, pero no puedo explicar esto más.

¿Hay alguna explicación más allá de las propiedades matemáticas de la fórmula? Si es así, ¿por qué hay menos incertidumbre sobre las proporciones estimadas (para un N dado) a medida que se acercan a 0 o 1?

Antecedentes y terminología

Para tener perfectamente claro lo que estamos discutiendo, establezcamos algunos conceptos y terminología. Un buen modelo para las proporciones es la urna binaria: contiene bolas de color plateado ("éxito") o fucsia ("fracaso"). La proporción de bolas de plata en la urna es (pero esta no es la "proporción" de la que hablaremos). $p$

Esta urna proporciona una forma de modelar una prueba de Bernoulli . Para obtener una realización, mezcle bien las bolas y extraiga una a ciegas, observando su color. Para obtener realizaciones adicionales, primero reconstituya la caja devolviendo la bola extraída, luego repita el procedimiento un número predeterminado de veces. La secuencia de realizaciones se puede resumir por el recuento de sus éxitos, . Es una variable aleatoria cuyas propiedades están completamente determinadas por y . La distribución de se llama distribución binomial . El (experimental, o "muestra") proporción es la relaciónX n p X ( n , p ) X /$n$$X$$n$$p$$X$$(n,p)$$X/n$.

Estas cifras son diagramas de barras de distribuciones de probabilidad para varias proporciones binomiales . Lo más notable es un patrón consistente, independientemente de , en el que las distribuciones se vuelven más estrechas (y las barras correspondientemente más altas) a medida que mueve desde hacia abajo.n p 1 /$X/n$$n$$p$$1/2$

La desviación estándar de es el error estándar de proporción mencionado en la pregunta. Para cualquier dado , esta cantidad puede depender solo de . Llamémoslo . Al cambiar los roles de las bolas - llame a los plateados "fallas" y los fucsias "éxitos" - es fácil ver que . Por lo tanto, la situación donde , es decir, 1/2, debe ser especial. La pregunta se refiere a cómo varía a medida que se aleja de hacia un valor más extremo, comon p SE ( p ) se ( p ) = SE ( 1 - p ) p = 1 - p p = 1 / 2 se ( p ) p 1 / 2 $X/n$$n$$p$$\operatorname{se}(p)$$\operatorname{se}(p) = \operatorname{se}(1-p)$$p=1-p$$p=1/2$$\operatorname{se}(p)$$p$$1/2$$0$.

Conocimiento vs comprensión

Debido a que a todos se les han mostrado cifras como estas al principio de su educación, todos "conocen" el ancho de las parcelas, que se miden por deben disminuir a medida que se aleja de . Pero ese conocimiento es realmente solo experiencia, mientras que la pregunta busca una comprensión más profunda. Tal comprensión está disponible a partir de un análisis cuidadoso de las distribuciones binomiales, como lo hizo Abraham de Moivre hace unos 300 años. (Eran similares en espíritu a los que presenté en una discusión sobre el Teorema del límite central ). Sin embargo, creo que algunas consideraciones relativamente simples podrían ser suficientes para señalar que los anchos deben ser más anchos cerca de .p 1 / 2 p = 1 /$\operatorname{se}(p)$$p$$1/2$$p=1/2$

Un análisis intuitivo simple

Está claro que debemos esperar que la proporción de éxitos en el experimento sea cercana a . El error estándar se refiere a qué tan lejos de esa expectativa podríamos suponer razonablemente que el resultado real mentirá. Suponiendo, sin pérdida de generalidad, que está entre y , ¿qué se necesitaría para aumentar desde ? Típicamente, alrededor de de las bolas extraídas en un experimento eran plateadas y (por lo tanto) alrededor de eran fucsias. Para obtener más bolas de plata, algunas de esasX / n p 0 1 / 2 X /$p$$X/n$$p$$0$$1/2$$X/n$p n ( 1 - p ) n p n p p X p × ( 1 - p ) n X / n p ( 1 - p ) n / n = p ( 1 - p $p$$pn$$(1-p)n$$p n$Los resultados fucsias tuvieron que haber sido diferentes. ¿Qué tan probable es que la oportunidad pueda operar de esta manera? La respuesta obvia es que cuando es pequeño, nunca es muy probable que saquemos una bola de plata. Por lo tanto, nuestras posibilidades de dibujar bolas de plata en lugar de bolas fucsias son siempre bajas. Podríamos esperar razonablemente que por pura suerte, una proporción de los resultados fucsias podría haber diferido, pero parece poco probable que muchos más que eso hubieran cambiado. Por lo tanto, es plausible que no varíe mucho más de . De manera equivalente, no variaría en mucho más que .$p$$p$$X$$p\times (1-p)n$$X/n$$p(1-p)n/n = p(1-p)$

El desenlace

Así aparece la combinación mágica . $p(1-p)$ Esto prácticamente resuelve la pregunta: obviamente, esta cantidad alcanza su punto máximo en y disminuye a cero en o . Proporciona una justificación intuitiva pero cuantitativa para las afirmaciones de que "un extremo es más limitante que el otro" u otros esfuerzos similares para describir lo que sabemos.$p=1/2$$p=0$$p=1$

Sin embargo, no es bastante el valor correcto: se limita a señalar el camino, que nos dice qué cantidad debe tener importancia para la estimación de la propagación de la . Hemos ignorado el hecho de que la suerte también tiende a actuar contra nosotros: así como algunas de las bolas fucsias podrían haber sido plateadas, algunas de las bolas plateadas podrían haber sido fucsias. Tener en cuenta todas las posibilidades de manera rigurosa puede complicarse, pero el resultado es que, en lugar de usar como un límite razonable de cuánto podría desviarse de su expectativa , para tener en cuenta todos los resultados posibles adecuadamente , tenemos sacar la raíz cuadrada$p(1-p)$$X$$p(1-p)n$$X$$pn$ $\sqrt{p(1-p)n}$. (Para una explicación más cuidadosa de por qué, visite ( https://stats.stackexchange.com/a/3904 .) Dividiendo por , aprendemos que las variaciones aleatorias de la proporción deben estar en el orden de que es el error estándar de .$n$$X/n$X/$\sqrt{p(1-p)n}/n = \sqrt{\frac{p(1-p)}{n}},$$X/n$

Considere la función p (1-p) para 0 <= p <= 1. Usando cálculo, puede ver que en p = 1/2 es 1/4, que es el valor máximo. Si puede ver que esto es para el binomio relacionado con la desviación estándar de la estimación de la proporción que es sqrt (p (1-p) / n), entonces p = 1/2 es el máximo. Cuando p = 1 o 0, el error estándar es 0 porque siempre obtendrá todos los 1 o todos los 0 respectivamente. Entonces, a medida que se acerca a 0 o 1, un argumento de continuidad dice que el error estándar se aproxima a 0 cuando p se acerca a 0 o 1. De hecho, disminuye monotónicamente a medida que p se acerca a 0 o 1. Para n grande, la proporción estimada debe estar cerca de la real proporción.

La distribución binomial tiende a ser aproximadamente simétrica (para grande es aproximadamente normal ).$n$

Como la relación debe estar entre 0 y 1, la incertidumbre estará limitada por estos límites. A menos que la relación media esté exactamente en el medio, uno de estos límites será más limitante que el otro.

Para que una curva de campana unimodal simétrica centrada en ajuste al intervalo de la unidad, su ancho medio debe ser menor que . min $p$$\min[\,p\,,1-p\,]$