¿Por qué se usa exactamente la información de Fisher observada?

En el ajuste estándar de máxima verosimilitud (iid muestra $Y_{1}, \ldots, Y_{n}$ de alguna distribución con densidad $f_{y}(y|\theta_{0}$ )) y en el caso de un modelo correctamente especificado, la información de Fisher viene dada por

$$I(\theta) = -\mathbb{E}_{\theta_{0}}\left[\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta) \right]$$

donde se toma la expectativa con respecto a la densidad real que generó los datos. He leído que la información observada de Fisher

$$\hat{J}(\theta) = -\frac{\partial^{2}}{\theta^{2}}\ln f_{y}(\theta)$$

se usa principalmente porque la integral involucrada en el cálculo de la Información de Fisher (esperada) podría no ser factible en algunos casos. Lo que me confunde es que incluso si la integral es factible, se debe tener una expectativa con respecto al modelo verdadero, que involucra el valor del parámetro desconocido . Si ese es el caso, parece que sin saber θ 0 es imposible calcular Me . ¿Es esto cierto?$\theta_{0}$$\theta_{0}$$I$

Tienes cuatro quanties aquí: el verdadero parámetro , una estimación consistente θ , la información esperada I ( θ ) en θ y la información observada J ( θ ) en θ . Estas cantidades solo son equivalentes asintóticamente, pero así es típicamente como se usan.$\theta_0$$\hat \theta$$I(\theta)$$\theta$$J(\theta)$$\theta$

1. La información observada converge en probabilidad a la información esperada I(θ0)=Eθ0[ ∂

   $$J (\theta_0) = \frac{1}{N} \sum_{i=1}^N \frac{\partial^2}{\partial \theta_0^2} \ln f( y_i|\theta_0)$$ cuandoYes una muestra iid de f(θ0). AquíEθ0(x)indica la expectativa w / r / t la distribución indexada porθ0:∫xf(x|θ0)dx. Esta convergencia se cumple debido a la ley de los grandes números, por lo que se supone queY∼f $$I(\theta_0) = E_{\theta_0} \left[ \frac{\partial^2}{\partial \theta_0^2} \ln f( y| \theta_0) \right]$$ $Y$$f(\theta_0)$$E_{\theta_0} (x)$$\theta_0$$\int x f(x | \theta_0) dx$ es crucial aquí.$Y \sim f(\theta_0)$

2. Cuando se tiene una estimación θ que converge en probabilidad al verdadero parámetro θ 0 (es decir, es coherente), entonces se puede sustituir por cualquier lugar que vea un θ 0 arriba, esencialmente debido al teorema de la aplicación continua * , y todos de las convergencias se mantienen.$\hat \theta$$\theta_0$$\theta_0$$^*$

En realidad, parece serun poco sutil.$^*$

Observación

Como supusiste, la información observada suele ser más fácil de trabajar porque la diferenciación es más fácil que la integración, y es posible que ya la hayas evaluado en el transcurso de alguna optimización numérica. En algunas circunstancias (la distribución Normal) serán lo mismo.

El artículo "Evaluación de la precisión del estimador de máxima verosimilitud: información de pesca observada versus esperada" por Efron y Hinkley (1978) hace un argumento a favor de la información observada para muestras finitas.

Se han realizado algunos estudios de simulación que parecen respaldar las observaciones teóricas de Efron y Hinkley (que se mencionan en la respuesta de Andrew), he aquí uno que conozco de antemano: Maldonado, G. y Greenland, S. (1994). Una comparación del rendimiento de los intervalos de confianza basados ​​en modelos cuando se desconoce la forma correcta del modelo. Epidemiología, 5, 171-182. No he visto ningún estudio que entre en conflicto. Es interesante que los paquetes GLM estándar que conozco usen la información esperada para calcular los intervalos de Wald. Por supuesto, esto no es un problema cuando (como en los GLM lineales en el parámetro natural) las matrices de información observadas y esperadas son iguales.