¿Por qué la matriz de información de Fisher es semidefinida positiva?

18

Deje . La matriz de información de Fisher se define como: $\theta \in R^{n}$

yo (θ)_{yo, j} = - mi [\frac{\partial^{2} Iniciar sesión (F (X El | θ))}{\partial θ_{yo} \partial θ_{j}} El | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

¿Cómo puedo demostrar que la matriz de información de Fisher es semidefinida positiva?

inference linear-algebra fisher-information

— madprob
fuente

77

¿No es el valor esperado de un producto externo del puntaje consigo mismo?

— Neil G

19

Mira esto: http://en.wikipedia.org/wiki/Fisher_information#Matrix_form

De la definición, tenemos

{yo}_{yo j} = {mi}_{θ} [(\partial_{yo} Iniciar sesión F_{X ∣ Θ} (X ∣ θ)) (\partial_{j} Iniciar sesión F_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ para , en el que . Su expresión para deriva de esta en condiciones de regularidad.

i, j = 1, \dots, k

$i,j=1,\dots,k$

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$

I_{i j}

$I_{ij}$

Para un vector no nulo , se deduce de la linealidad de la expectativa que $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$

\sum_{yo, j = 1}^{k} {tu}_{yo} {yo}_{yo j} {tu}_{j} = \sum_{yo, j = 1}^{k} ({tu}_{yo} {mi}_{θ} [(\partial_{yo} Iniciar sesión F_{X ∣ Θ} (X ∣ θ)) (\partial_{j} Iniciar sesión F_{X ∣ Θ} (X ∣ θ))] {tu}_{j}) = {mi}_{θ} [(\sum_{yo = 1}^{k} {tu}_{yo} \partial_{yo} Iniciar sesión F_{X ∣ Θ} (X ∣ θ)) (\sum_{j = 1}^{k} {tu}_{j} \partial_{j} Iniciar sesión F_{X ∣ Θ} (X ∣ θ))] = {mi}_{θ} [{(\sum_{yo = 1}^{k} {tu}_{yo} \partial_{yo} Iniciar sesión F_{X ∣ Θ} (X ∣ θ))}^{2}] \geq 0 0 .

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

Si esta notación inteligente de componentes es demasiado fea, tenga en cuenta que la matriz de información de Fisher puede escribirse como , en la que el vector de puntuaciones se define como $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

S = {(\partial_{1} Iniciar sesión F_{X ∣ Θ} (X ∣ θ), ..., \partial_{k} Iniciar sesión F_{X ∣ Θ} (X ∣ θ))}^{⊤} .

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

Por lo tanto, tenemos una línea

{tu}^{⊤} H tu = {tu}^{⊤} {mi}_{θ} [S S^{⊤}] tu = {mi}_{θ} [{tu}^{⊤} S S^{⊤} tu] = {mi}_{θ} [El | El | S^{⊤} tu El | {El |}^{2}] \geq 0.

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— zen
fuente

3

(+1) Buena respuesta y bienvenido de nuevo, Zen. Me preocupaba que pudiéramos haberte perdido permanentemente dada la duración de tu pausa. ¡Eso habría sido una verdadera lástima!

— cardenal

5

ADVERTENCIA: no es una respuesta general!

Si corresponde a una familia exponencial de rango completo, entonces la arpillera negativa del log-verosimilitud es la matriz de covarianza de la estadística suficiente. Las matrices de covarianza son siempre semi-definidas positivas. Dado que la información de Fisher es una combinación convexa de matrices semi-definidas positivas, también debe ser semi-definida positiva. $f(X|\theta)$

— gusl
fuente