Valor esperado de estimación de parámetro de moneda de máxima verosimilitud

Supongamos que tengo un experimento de lanzamiento de moneda en el que quiero calcular la estimación de probabilidad máxima del parámetro de moneda cuando lanzo la moneda veces. Después de calcular la derivada de la función de probabilidad binomial , obtengo el valor óptimo para para que sea , siendo el número de éxitos. $p$ $n$ $L(p) = { n \choose x } p^x (1-p)^{n-x}$ $p$ $p^{*} = \frac{x}{n}$ $x$

Mis preguntas ahora son:

¿Cómo calcularía el valor / varianza esperado de esta estimación de máxima verosimilitud para $p$ ?
¿Necesito calcular el valor / varianza esperado para $L(p^{*})$ ?
En caso afirmativo, ¿cómo haría eso?

— Manu
fuente

Supongo que esto es algún tipo de autoaprendizaje (deberías etiquetarlo como tal). ¿Qué es exactamente lo que quieres? ¿Inferencia en su parámetro?

— pkofod

¿Qué quiere decir inferencia sobre el parámetro? No estoy seguro de cómo calcularía el valor / varianza esperado para la cantidad . Quiero decir, sé qué es la media / varianza y cómo calcularla para ejemplos simples, pero no entiendo cómo aplicarla a .

p^{*}

$p^{*}$

p^{*}

$p^{*}$

— Manu

Respuestas:

En primer lugar, esta es una pregunta de autoaprendizaje, por lo que voy a entrar demasiado en todos y cada uno de los pequeños detalles técnicos, pero tampoco voy a entrar en un frenesí de derivación. Hay muchas maneras de hacer esto. Te ayudaré utilizando las propiedades generales del estimador de máxima verosimilitud.

Información de contexto

Para resolver su problema, creo que necesita estudiar la máxima probabilidad desde el principio. Probablemente esté utilizando algún tipo de libro de texto, y la respuesta realmente debería estar allí en alguna parte. Te ayudaré a descubrir qué buscar.

La probabilidad máxima es un método de estimación que es básicamente lo que llamamos un estimador M (piense en la "M" como "maximizar / minimizar"). Si se cumplen las condiciones requeridas para usar estos métodos, podemos mostrar que las estimaciones de los parámetros son consistentes y normalmente distribuidas asintóticamente, por lo que tenemos:

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1} B_{0} A_{0}^{- 1}),

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}B_0A_0^{-1}),$

donde y son algunas matrices. Cuando usamos la máxima verosimilitud podemos mostrar que , y por lo tanto tenemos una expresión simple: Tenemos que donde denota la arpillera. Esto es lo que necesita estimar para obtener su varianza. $A_0$ $B_0$ $A_0=B_0$

\sqrt{N} (\hat{θ} - θ_{0}) \overset{d}{\to} Normal (0, A_{0}^{- 1}) .

$\sqrt{N}(\hat\theta-\theta_0)\overset{d}{\to}\text{Normal}(0,A_0^{-1}).$

A_{0} \equiv - E (H (θ_{0}))

$A_0\equiv -E(H(\theta_0))$

H

$H$

Su problema específico

Entonces, ¿Cómo lo hacemos? Aquí llamemos a nuestro vector de parámetros lo que haces: . Esto es solo un escalar, por lo que nuestra "puntuación" es solo la derivada y el "hessian" es solo la derivada de segundo orden. Nuestra función de probabilidad se puede escribir como: que es lo que queremos maximizar. Usó la primera derivada de esto o la probabilidad de registro para encontrar su . En lugar de establecer la primera derivada igual a cero, podemos diferenciar nuevamente para encontrar la derivada de segundo orden . Primero tomamos registros: Luego nuestra 'puntuación' es: y nuestro 'hessian': $\theta$ $p$

l (p) = (p)^{x} (1 - p)^{n - x},

$l(p)=(p)^x (1-p)^{n-x},$

p^{*}

$p^*$

H (p)

$H(p)$

l l (pags) \equiv Iniciar sesión (l (pags)) = X Iniciar sesión (pags) + (norte - X) Iniciar sesión (1 - pags)

$ll(p)\equiv\log(l(p))=x\log(p)+(n-x)\log(1-p)$

l l^{'} (pags) = \frac{X}{pags} + \frac{norte - X}{1 - pags},

$ll'(p)=\frac{x}{p}+\frac{n-x}{1-p},$

H (pags) = l l^{″} (pags) = - \frac{X}{{pags}^{2}} - \frac{norte - X}{(1 - pags)^{2}} .

$H(p)=ll''(p)=-\frac{x}{p^2}-\frac{n-x}{(1-p)^2}.$ Entonces nuestra teoría general de arriba solo te dice que encuentres . Ahora solo tiene que tomar la expectativa de (Sugerencia: use ), multiplique por y tome el inverso. Entonces tendrás tu varianza del estimador.

(- E (H (p)))^{- 1}

$(-E(H(p)))^{-1}$

H (p)

$H(p)$

E (x / n) = p

$E(x/n)=p$

- 1

$-1$

— pkofod
fuente

¿ correcto?

V a r (p) = \frac{p^{2} - 1}{n} - \frac{1}{n p}

$Var(p) = \frac{p^2-1}{n} - \frac{1}{np}$

— Manu

@Manu: No del todo, pero parece que acabas de cometer un pequeño error en alguna parte. ¿Puedes publicar algunos pasos más?

— pkofod

(- E (H (p)))^{- 1} = E (- H (p))^{- 1]} = (E (\frac{x}{p^{2}}) + E (\frac{n - x}{(1 - p)^{2}}))^{- 1} = (p^{- 2} n p + (1 - p)^{- 2} (n - n p))^{- 1}

$(-E(H(p)))^{-1} = E(-H(p))^{-1]} = (E(\frac{x}{p^2}) + E(\frac{n-x}{(1-p)^2}))^{-1} = ( p^{-2}np + (1-p)^{-2}(n -np) )^{-1}$ . a partir de ahí simplifiqué multiplicando y tomando el inverso.

— Manu

Eso es todo correcto, ahora simplemente simplifica. En la primera parte, p se cancela, y en la segunda parte puede tomar n fuera del paréntesis.

— pkofod

(n / p + n / [1 - p])^{- 1}

$(n/p+n/[1-p])^{-1}$ es lo que tienes arriba. Solo factoriza la , pon un denominador común y luego toma el recíproco.

n

$n$

— ekvall

Para comenzar, hagamos el valor esperado:

Si es el número de éxitos en lanzamientos, entonces es la proporción de éxitos en su muestra. Considere ; para cada lanzamiento, la probabilidad de éxito es acuerdo con los supuestos, de modo que cuando se lanza la moneda una vez, el "número de éxitos" esperado es , ¿verdad? Por lo tanto, si lanzas la moneda veces, esperarías éxito veces porque los lanzamientos son independientes. Entonces, dado que es el número de éxitos esperados en lanzamientos, obtienes $x$ $n$ $x/n$ $\mathbb{E}x$ $p$ $p\times1+(1-p)\times 0=p$ $n$ $np$ $np$ $n$

mi {pags}^{*} = mi {norte}^{- 1} X = {norte}^{- 1} mi X = {norte}^{- 1} \times norte pags = pags

$\mathbb{E}p^*=\mathbb{E}n^{-1}x=n^{-1}\mathbb{E}x=n^{-1}\times np=p$

Entonces el estimador es imparcial. ¿Puedes imaginar cómo hacer la varianza desde aquí?

Editar: también hagamos la varianza. Usamos ese . El segundo término ya lo tenemos del cálculo del valor esperado, así que hagamos el primero: Para simplificar algunos , podemos expresar el número de éxitos en lanza de la siguiente manera: donde toma el valor 1 si tiro fue un éxito y 0 en caso contrario. Por lo tanto, y así juntando las cosas llegas a . $\text{Var}(p^*)=\mathbb{E}p{^*}^2-(\mathbb{E}p{^*})^2$

mi pags {^{*}}^{2} = {norte}^{- 2} mi X^{2}

$\mathbb{E}p{^*}^2=n^{-2}\mathbb{E}x^2$

n

$n$

X = \sum_{1}^{norte} χ_{yo},

$x=\sum_1^n\chi _i,$

χ_{i}

$\chi_i$

i

$i$

mi X^{2} = mi (\sum_{1}^{norte} χ_{yo})^{2} = mi [\sum_{1}^{norte} χ_{yo}^{2} + 2 \sum_{yo < j} χ_{yo} χ_{j}] = norte pags + norte (norte - 1) {pags}^{2},

$\mathbb{E}x^2=\mathbb{E}(\sum_1^n\chi _i)^2=\mathbb{E}[\sum_1^n\chi _i^2+2\sum_{i<j}\chi _i\chi_j]=np+n(n-1)p^2,$

Var ({pags}^{*}) = \frac{pags (1 - pags)}{norte}

$\text{Var}(p^*)=\frac{p(1-p)}{n}$

— ekvall
fuente

Si arrojas seguidas, tu . Sin embargo, ¿qué valor exacto tomaría Var ( )?

n = 3

$n=3$

p_{M L E} = 1.0

$p_{MLE} =1.0$

p^{*}

$p^*$

— Piccolo