La matriz de información observada es un estimador consistente de la matriz de información esperada?

Estoy tratando de demostrar que la matriz de información observada evaluada en el estimador de máxima verosimilitud débilmente consistente (MLE), es un estimador débilmente consistente de la matriz de información esperada. Este es un resultado ampliamente citado, pero nadie da una referencia o una prueba (creo que he agotado las primeras 20 páginas de resultados de Google y mis libros de texto de estadísticas).

Usando una secuencia débilmente consistente de MLEs, puedo usar la ley débil de números grandes (WLLN) y el teorema de mapeo continuo para obtener el resultado que quiero. Sin embargo, creo que el teorema de mapeo continuo no se puede usar. En cambio, creo que la ley uniforme de grandes números (ULLN) necesita ser utilizada. ¿Alguien sabe de una referencia que tenga una prueba de esto? Tengo un intento en el ULLN pero lo omito por ahora por brevedad.

Pido disculpas por la longitud de esta pregunta, pero hay que introducir la notación. La notación es como sigue (mi prueba está al final).

Supongamos que tenemos una muestra iid de variables aleatorias con densidades , donde (aquí es solo una variable aleatoria general con la misma densidad que cualquiera de los miembros de la muestra). El vector Y = (Y_1, \ ldots, Y_N) ^ {T} es el vector de todos los vectores de muestra donde Y_ {i} \ in \ mathbb {R} ^ {n} para todos i = 1, \ ldots, N . El verdadero valor del parámetro de las densidades es \ theta_ {0} , y \ hat {\ theta} _ {N} (Y) es el estimador de máxima verosimilitud (MLE) débilmente consistente de \ theta_ {0}$\{Y_1,\ldots,Y_N\}$$f(\tilde{Y}|\theta)$$\theta\in\Theta\subseteq\mathbb{R}^{k}$$\tilde{Y}$$Y=(Y_1,\ldots,Y_N)^{T}$$Y_{i}\in\mathbb{R}^{n}$$i=1,\ldots,N$θ 0 θ N ( Y ) theta $\theta_{0}$$\hat{\theta}_{N}(Y)$$\theta_{0}$. Sujeto a condiciones de regularidad, la matriz de información de Fisher se puede escribir como

donde ${H}_{\theta}$ es la matriz de Hesse. El equivalente de la muestra es

donde $I_{y_i}=-E_\theta \left[H_{\theta}(\log f(Y_{i}|\theta)\right]$ . La matriz de información observada es;

$J(\theta) = -H_\theta(\log f(y|\theta)$ ,

(Algunas personas demandan que la matriz se evalúe en $\hat{\theta}$ pero otras no). La muestra de matriz de información observada es;

$J_N(\theta)=\sum_{i=1}^N J_{y_i}(\theta)$

donde $J_{y_i}(\theta)=-H_\theta(\log f(y_{i}|\theta)$ .

Puedo probar la convergencia en la probabilidad del estimador a , pero no de a . Aquí está mi prueba hasta ahora;N - 1 J N ( θ ) I ( θ ) N - 1 J N ( θ N ( Y ) ) I ( θ 0$N^{-1}J_N(\theta)$$I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))$$I(\theta_{0})$

Ahora es elemento de , para cualquier . Si la muestra es iid, entonces, por la ley débil de números grandes (WLLN), el promedio de estos sumandos converge en probabilidad a . Así para todas las , y así . Desafortunadamente no podemos concluir simplemente$(J_{N}(\theta))_{rs}=-\sum_{i=1}^N (H_\theta(\log f(Y_i|\theta))_{rs}$$(r,s)$$J_N(\theta)$$r,s=1,\ldots,k$- E θ [ ( H θ ( log f ( Y 1 | θ ) ) r s ] = ( I Y 1 ( θ ) ) r s = ( I ( θ ) ) r s N - 1 ( J N (θ) ) r s P → (I(θ) ) r s r,s=1,...,k$-E_{\theta}[(H_\theta(\log f(Y_{1}|\theta))_{rs}]=(I_{Y_1}(\theta))_{rs}=(I(\theta))_{rs}$$N^{-1}(J_N(\theta))_{rs}\overset{P}{\rightarrow}(I(\theta))_{rs}$$r,s=1,\ldots,k$- 1 J N (θ) P → I(θ) N - 1 J N ( θ N (Y)) P → I( θ 0 ) N - 1 J N (⋅)I(⋅$N^{-1}J_N(\theta)\overset{P}{\rightarrow}I(\theta)$$N^{-1}J_{N}(\hat{\theta}_N(Y))\overset{P}{\rightarrow}I(\theta_0)$usando el teorema de mapeo continuo ya que no es la misma función que .$N^{-1}J_{N}(\cdot)$$I(\cdot)$

Cualquier ayuda en esto sería muy apreciada.

$\newcommand{\convp}{\stackrel{P}{\longrightarrow}}$

Supongo que establecer directamente algún tipo de ley uniforme de grandes números es un enfoque posible.

Aquí está otro.

Queremos mostrar que .$\frac{J^N(\theta_{MLE})}{N} \convp I(\theta^*)$

(Como dijiste, tenemos por WLLN que . Pero esto no nos ayuda directamente).$\frac{J^N(\theta)}{N} \convp I(\theta)$

Una posible estrategia es mostrar que

y

Si ambos resultados son verdaderos, entonces podemos combinarlos para obtener

que es exactamente lo que queremos mostrar.

La primera ecuación se deriva de la ley débil de los grandes números.

El segundo casi se desprende del teorema de mapeo continuo, pero desafortunadamente nuestra función que queremos aplicar CMT a los cambios con : nuestra es realmente . Entonces no podemos usar el CMT.$g()$$N$$g$$g_N(\theta) := \frac{J^N(\theta)}{N}$

(Comentario: si examina la prueba de CMT en Wikipedia, observe que el conjunto que definen en su prueba para nosotros ahora también depende de . Esencialmente necesitamos algún tipo de equicontinuidad en sobre nuestras funciones .)$B_\delta$$n$$\theta^*$$g_N(\theta)$

Afortunadamente, si supone que la familia es estocástico equicontinuo en , luego se deduce inmediatamente que para , $\mathcal{G} = \{g_N | N=1,2,\ldots\}$$\theta^*$$\theta_{MLE} \convp \theta^*$

(Ver aquí: http://www.cs.berkeley.edu/~jordan/courses/210B-spring07/lectures/stat210b_lecture_12.pdf para obtener una definición de equicontinuidad estocástica en , y una prueba del hecho anterior. )$\theta^*$

Por lo tanto, suponiendo que es SE en , el resultado deseado es verdadero y la información empírica de Fisher converge con la información de la población de Fisher.$\mathcal{G}$$\theta^*$

Ahora, la pregunta clave, por supuesto, es, ¿qué tipo de condiciones necesita imponer a para obtener SE? Parece que una forma de hacer esto es establecer una condición de Lipshitz en toda la clase de funciones (ver aquí: http://econ.duke.edu/uploads/media_items/uniform-convergence-and-stochastic -equicontinuity.original.pdf ).$\mathcal{G}$$\mathcal{G}$

La respuesta anterior usando equicontinuidad estocástica funciona muy bien, pero aquí estoy respondiendo mi propia pregunta usando una ley uniforme de números grandes para mostrar que la matriz de información observada es un estimador fuertemente consistente de la matriz de información, es decir, si conectamos una secuencia de estimadores muy consistente. Espero que sea correcto en todos los detalles.$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$

Usaremos para ser un conjunto de índices, y adoptemos temporalmente la notación para ser explícito sobre la dependencia de del vector aleatorio . También trabajaremos por elementos con y , , para esta discusión. La función tiene un valor real en el conjunto , y supondremos que es Lebesgue medible para cada$I_{N}=\{1,2,...,N\}$$J(\tilde{Y},\theta):=J(\theta)$$J(\theta)$$\tilde{Y}$$(J(\tilde{Y},\theta))_{rs}$$(J_{N}(\theta))_{rs}=\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}$$r,s=1,...,k$$(J(\cdot,\theta))_{rs}$$\mathbb{R}^{n}\times\Theta^{\circ}$$\theta\in\Theta^{\circ}$. Una ley uniforme (fuerte) de grandes números define un conjunto de condiciones bajo las cuales

$\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}(J_{N}(\theta))_{rs}-E_{\theta}\left[(J(Y_{1},\theta))_{rs}\right]\right|=\nonumber\\ \hspace{60pt}\underset{\theta\in\Theta}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\overset{a.s}{\longrightarrow}0\hspace{100pt}(1)$

Las condiciones que deben cumplirse para que (1) se cumplan son (a) es un conjunto compacto; (b) es una función continua en con probabilidad 1; (c) para cada está dominado por una función , es decir ; y (d) para cada ;. Estas condiciones provienen de Jennrich (1969, Teorema 2).$\Theta^{\circ}$$(J(\tilde{Y},\theta))_{rs}$$\Theta^{\circ}$$\theta\in \Theta^{\circ}$ $(J(\tilde{Y},\theta))_{rs}$$h(\tilde{Y})$$|(J(\tilde{Y},\theta))_{rs}|<h(\tilde{Y})$$\theta\in \Theta^{\circ}$ $E_{\theta}[h(\tilde{Y})]<\infty$

Ahora, para cualquier , y , la siguiente desigualdad obviamente es válida$y_{i}\in\mathbb{R}^{n}$$i\in I_{N}$$\theta'\in S\subseteq\Theta^{\circ}$

$\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta'))_{rs}-(I(\theta'))_{rs}\right|\leq\underset{\theta\in S}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|.\hspace{50pt}(2)$

Suponga que es una secuencia de estimadores muy consistente para , y deje que sea ​​una bola abierta en con radio como , y supongamos que es compacto. Entonces, dado que para suficientemente grande tenemos para suficientemente grande . Junto con (2) esto implica$\{\hat{\theta}_{N}(Y)\}$$\theta_{0}$$\Theta_{N_{1}}=B_{\delta_{N_{1}}}(\theta_{0})\subseteq K\subseteq \Theta^{\circ}$$\mathbb{R}^{k}$$\delta_{N_{1}}\rightarrow 0$$N_{1}\rightarrow\infty$$K$$\hat{\theta}_{N}(Y)\in \Theta_{N_{1}}$$N$$P[\underset{N}{\text{lim}}\{\hat{\theta}_{N}(Y)\in\Theta_{N_{1}}\}]=1$$N$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|\leq\right.\right.\nonumber\\ \hspace{40pt}\left.\left.\underset{\theta\in\Theta_{N_{1}}}{\text{sup}}\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\theta))_{rs}-(I(\theta))_{rs}\right|\right\}\right]=1.\hspace{100pt}(3)$

Ahora implica que las condiciones (a) - (d) de Jennrich (1969, Teorema 2) se aplican a . Así (1) y (3) implican$\Theta_{N_{1}}\subseteq\Theta^{\circ}$$\Theta_{N_{1}}$

$P\left[\underset{N\rightarrow\infty}{\text{lim}}\left\{\left|N^{-1}\sum\nolimits_{i=1}^{N}(J(Y_{i},\hat{\theta}_{N}(Y)))_{rs}-(I(\hat{\theta}_{N}(Y)))_{rs}\right|=0\right\}\right]=1.\hspace{100pt}(4)$

Ya que entonces (4) implica que . Tenga en cuenta que (3) se mantiene por pequeño que sea , por lo que el resultado en (4) es independiente de la elección de no sea debe elegirse de modo que . Este resultado es válido para todas las , y así, en términos de matrices, tenemos .$(I(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}I(\theta_{0})$$N^{-1}(J_{N}(\hat{\theta}_{N}(Y)))_{rs}\overset{a.s.}{\longrightarrow}(I(\theta_{0}))_{rs}$$\Theta_{N_{1}}$$N_{1}$$N_{1}$$\Theta_{N_{1}}\subseteq \Theta^{\circ}$$r,s=1,...,k$$N^{-1}J_{N}(\hat{\theta}_{N}(Y))\overset{a.s.}{\longrightarrow}I(\theta_{0})$