¿Cuándo la máxima probabilidad y el método de los momentos producen los mismos estimadores?


17

Me hicieron esta pregunta el otro día y nunca la había considerado antes.

Mi intuición proviene de las ventajas de cada estimador. La máxima probabilidad es preferiblemente cuando confiamos en el proceso de generación de datos porque, a diferencia del método de los momentos, hace uso del conocimiento de toda la distribución. Dado que los estimadores MoM solo usan la información contenida en los momentos, parece que los dos métodos deberían producir las mismas estimaciones cuando las estadísticas suficientes para el parámetro que intentamos estimar son exactamente los momentos de los datos.

(0,θ)θmax(X1,,XN)

Pensé que tal vez esto era una peculiaridad de la familia exponencial, pero para un Laplace con significado conocido, la estadística suficiente esy el estimador MLE y MoM para la varianza no son iguales.1n|Xi|

Hasta ahora no he podido mostrar ningún tipo de resultado en general. ¿Alguien sabe de condiciones generales? O incluso un contraejemplo me ayudaría a refinar mi intuición.


44
MM y MLE coinciden para el parámetro canónico en familias exponenciales. Pero hacer una transformación generalmente significaría que pierde esta equivalencia (como también lo sugiere la respuesta de Xi'an).
hejseb

Respuestas:


16

Una respuesta general es que un estimador basado en un método de momentos no es invariable por un cambio biyectivo de parametrización, mientras que un estimador de máxima verosimilitud es invariante. Por lo tanto, casi nunca coinciden. (Casi nunca en todas las transformaciones posibles).

Además, como se indica en la pregunta, hay muchos estimadores MoM. Una infinidad de ellos, en realidad. Pero todos se basan en la distribución empírica, , que puede verse como un MLE no paramétrico de , aunque esto no se relaciona con la pregunta.F^F

En realidad, una forma más adecuada de enmarcar la pregunta sería preguntar cuándo un estimador de momento es suficiente, pero esto obliga a que la distribución de los datos sea de una familia exponencial, según el lema de Pitman-Koopman, un caso cuando la respuesta ya es conocido.

Nota: En la distribución de Laplace, cuando se conoce la media, el problema es equivalente a observar los valores absolutos, que son luego variables exponenciales y parte de una familia exponencial.


1
¿Existe en general una parametrización para la cual MM y MLE son iguales?
Al revés

1
Para familias exponenciales, la parametrización media conduce a una igualdad. Fuera de las familias exponenciales, no estoy tan seguro.
Xi'an
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.