¿Es el estimador imparcial de máxima verosimilitud siempre el mejor estimador imparcial?

22

Sé que para problemas regulares, si tenemos un mejor estimador imparcial regular, debe ser el estimador de máxima verosimilitud (MLE). Pero, en general, si tenemos un MLE imparcial, ¿también sería el mejor estimador imparcial (o tal vez debería llamarlo UMVUE, siempre que tenga la varianza más pequeña)?

mathematical-statistics maximum-likelihood unbiased-estimator

— Gary Cheng
fuente

3

Interesante pregunta. El MLE es una función de la estadística suficiente, y los UMVUE pueden obtenerse condicionando estadísticas completas y suficientes. Entonces, si MLE es imparcial (y una función de la estadística suficiente), la única forma posible de que no tenga una varianza mínima es si la estadística suficiente no está completa. Traté de encontrar un ejemplo, pero no tuve éxito.

— Greenparker

2

Y aquí hay información breve sobre estadísticas suficientes y completas.

— Richard Hardy

10

El problema real es más que el MLE rara vez es imparcial: si es el estimador imparcial de y el MLE de , es el MLE de pero está sesgado para la mayoría transformaciones biyectivas .

θ

$\theta$

θ

$\theta$

θ

$\theta$

f (\hat{θ})

$f(\hat\theta)$

f (θ)

$f(\theta)$

f

$f$

— Xi'an

1

¿Es esto relevante? "Un estimador casi imparcial de la media de la población" Vyas Dubey Pt. Ravishankar Shukla University, Raipur, India

2

+1 para el comentario de Xi'ans. El mejor estimador significa varianza mínima, imparcial significa otra cosa. Por lo tanto, no estoy seguro de que pueda comenzar a probar eso, ya que uno tiene poco que ver con el otro. Pero incluso antes de comenzar mi propia derivación, me gustaría ver un esfuerzo serio en la (prueba de) una prueba. Yo diría que incluso la prueba de la primera declaración (MLE es óptima para ciertos casos) no es trivial.

— querubín

13

En mi opinión, la pregunta no es realmente coherente porque la maximización de una probabilidad e imparcialidad no se lleva bien, solo porque los estimadores de máxima probabilidad son equivalentes , es decir, la transformación del estimador es el estimador de la transformación del parámetro, mientras que la imparcialidad no se encuentra bajo transformaciones no lineales. Por lo tanto, los estimadores de máxima verosimilitud casi nunca son imparciales, si se considera "casi" en el rango de todas las parametrizaciones posibles.

Sin embargo, hay una respuesta más directa a la pregunta: al considerar la estimación de la varianza Normal, , el UMVUE de es mientras que el MLE de es Ergo, difieren. Esto implica que $\sigma^2$ $\sigma^2$

{\hat{σ}}_{norte}^{2} = \frac{1}{norte - 1} \sum_{yo = 1}^{norte} {X_{yo} - {\bar{X}}_{norte}}^{2}

$\hat{\sigma}^2_n = \frac{1}{n-1} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

σ^{2}

$\sigma^2$

{\overset{ˇ}{σ}}_{norte}^{2} = \frac{1}{norte} \sum_{yo = 1}^{norte} {X_{yo} - {\bar{X}}_{norte}}^{2}

$\check{\sigma}^2_n = \frac{1}{n} \sum_{i=1}^n \{x_i-\bar{x}_n\}^2$

Si tenemos un mejor estimador imparcial regular, debe ser el estimador de máxima verosimilitud (MLE).

no se sostiene en general.

Tenga en cuenta además que, incluso cuando existen estimadores insesgados de un parámetro , no existe necesariamente un mejor estimador de varianza mínima imparcial (UNMVUE). $\theta$

— Xi'an
fuente

Entonces, ¿podemos decir que un MLE imparcial es un (U) MVUE, pero no todos los (U) MVUE son el MLE?

— Sextus Empiricus el

2

No, no tenemos ninguna razón para creer que esto sea cierto en general.

— Xi'an

13

Pero, en general, si tenemos un MLE imparcial, ¿sería también el mejor estimador imparcial?

Si hay una estadística completa suficiente, sí .

Prueba:

Teorema de Lehmann-Scheffé : cualquier estimador imparcial que sea función de una estadística completa suficiente es el mejor (UMVUE).
MLE es una función de cualquier estadística suficiente. Ver 4.2.3 aquí ;

Por lo tanto, un MLE imparcial es necesariamente el mejor siempre que exista una estadística completa suficiente.

Pero en realidad este resultado casi no tiene caso de aplicación, ya que casi nunca existe una estadística completa suficiente. Esto se debe a que existen estadísticas suficientes (esencialmente) solo para familias exponenciales en las que el MLE está sesgado con mayor frecuencia (excepto el parámetro de ubicación de los gaussianos).

Entonces la respuesta real es en realidad no .

$p_\theta(x)=p(x-\theta$ $p$ $\forall t\in\mathbb{R} \quad p(-t)=p(t)$ $n$

el MLE es imparcial
está dominado por otro estimador imparcial conocido como estimador equivalente de Pitman

$p$

— Benoit Sanchez
fuente

¿Por qué esto no tiene los votos más altos? Sentí que esta respuesta era mejor que la de Xian.

— Red Floyd

0

La varianza asintótica de MLE es UMVUE, es decir, alcanza el límite inferior de cramer rao, pero la varianza finita puede no ser UMVUE para asegurarse de que el estimador sea UMVUE, debe ser estadística suficiente y completa o cualquier función de esa estadística.

— serhat simsek
fuente

0

En resumen, un estimador es UMVUE, si es imparcial y la función de una estadística completa y suficiente. (Ver Rao-Blackwell y Scheffe)

— creutzml
fuente

Lo que significa que esto está restringido a familias exponenciales.

— Xi'an