Razón intuitiva por la cual la información de Fisher del binomio es inversamente proporcional a

12

Confunde / me sorprende que el Binomial tenga una varianza proporcional a . De manera equivalente, la información de Fisher es proporcional a $p(1-p)$ . ¿Cuál es la razón para esto? ¿Por qué se minimiza la información de Fisher en? Es decir, ¿por qué la inferencia es más difícil en? $\frac{1}{p(1-p)}$ $p=0.5$ $p=0.5$

Contexto:

Estoy trabajando en una calculadora de tamaño de muestra, y la fórmula para , el tamaño de muestra necesario, es un factor creciente de , el resultado de una estimación de varianza en la derivación. $N$ $p(1-p)$

variance binomial interpretation

— Cam.Davidson.Pilon
fuente

3

La varianza de una variable aleatoria de Bernoulli con el parámetro

es

y la variable aleatoria binomial, que es la suma de

variables aleatorias independientes de Bernoulli, tiene una varianza

, que es la suma de

variaciones Con respecto a por qué

, considere la varianza como el momento de inercia sobre el centro de masa de masas

y

en

p

$p$

p (1 - p)

$p(1-p)$

N

$N$

N p (1 - p)

$Np(1-p)$

N

$N$

p (1 - p)

$p(1-p)$

p

$p$

1 - p

$1-p$

1

$1$ y

respectivamente.

0

$0$

— Dilip Sarwate

Sí, he dicho proporcional a

, ignorar el

. ¿Puede explicar su segunda parte? Parece una perspectiva interesante.

p (1 - p)

$p(1-p)$

N

$N$

— Cam.Davidson.Pilon

13

Para ver, de manera intuitiva, que la varianza se maximiza en , tome igual a (resp. ). Entonces, una muestra de probablemente contendrá muchos 's (resp. ' s) y solo unos pocos 's (resp. ' s). No hay mucha variación allí. $p = 0.5$ $p$ $0.99$ $p = 0.01$ $X \sim \text{Bernoulli}(p)$ $1$ $0$ $0$ $1$

— ocram
fuente

$p=0.5$

p = 0.5

$p=0.5$

3

De nuevo de una manera muy intuitiva: cuanta más variación, más información necesita.

— ocram

9

$p$ $\hat p$ $p$ $p$

Sin embargo, creo que la intuición es más fácil cuando se mira en términos de variación.

$p$ $p$

$\text{Var}(\hat p) = p(1-p)/n$ $n$ $p$ $p$

$y$ ingrese la descripción de la imagen aquí

Las funciones de probabilidad correspondientes: ingrese la descripción de la imagen aquí

En cada caso, preste atención a las líneas que marcan la media. A medida que la línea media se atasca más contra la barrera, los puntos por debajo de la media solo pueden llegar un poco más abajo.

$p = \frac{1}{2}$

ingrese la descripción de la imagen aquí

$\hat p$ $p$

[Esta forma de intuición no nos dice por qué toma esa forma funcional exacta, pero deja en claro por qué la varianza debe ser pequeña cerca de los extremos, y hacerse más pequeña cuanto más se acerque a los extremos.]

— Glen_b -Reinstate a Monica
fuente

Como resultado, los puntos por encima de la media generalmente no pueden llegar muy por encima de la media (¡porque de lo contrario la media cambiaría!). Cerca de p = 12, los puntos finales realmente no "lo empujan" de la misma manera. Demasiado perfecto. Esta es una gran explicación.

— Cam.Davidson.Pilon

7

La información de Fisher es la varianza de la función de puntuación. Y está relacionado con la entropía. Para una prueba de Bernoulli, estamos obteniendo un bit por cada prueba. Entonces, esta información de Fisher tiene propiedades similares a la entropía de Shannon, como era de esperar. En particular, la entropía tiene un máximo de 1/2 y la información tiene un mínimo de 1/2.

— James
fuente

Ah, otra gran perspectiva. ¡No había pensado en esto desde el punto de vista entrópico!

— Cam.Davidson.Pilon