Relación entre la matriz de Hesse y la matriz de covarianza

Mientras estudio la Estimación de máxima verosimilitud, para hacer inferencia en la Estimación de máxima verosimilitud, necesitamos conocer la varianza. Para descubrir la varianza, necesito conocer el límite inferior de Cramer's Rao, que se parece a una matriz de Hesse con una segunda derivación en la curvatura. Estoy un poco confundido para definir la relación entre la matriz de covarianza y la matriz de arpillera. Espero escuchar algunas explicaciones sobre la pregunta. Un simple ejemplo será apreciado.

— usuario122358
fuente

Primero debe consultar esta pregunta básica sobre la matriz de información de Fisher y la relación con los errores estándar y de Hesse

Supongamos que tenemos un modelo estadístico (familia de distribuciones) . En el caso más general tenemos , por lo que esta familia está parametrizada por . Bajo ciertas condiciones de regularidad, tenemos $\{f_{\theta}: \theta \in \Theta\}$ $dim(\Theta) = d$ $\theta = (\theta_1, \dots, \theta_d)^T$

I_{i, j} (θ) = - E_{θ} [\frac{\partial^{2} l (X; θ)}{\partial θ_{i} \partial θ_{j}}] = - E_{θ} [H_{i, j} (l (X; θ))]

$I_{i,j}(\theta) = -E_{\theta}\Big[\frac{\partial^2 l(X; \theta)}{\partial\theta_i\partial\theta_j}\Big] = -E_\theta\Big[H_{i,j}(l(X;\theta))\Big]$

$I_{i,j}$ $\theta$ $X$

l (X; θ) = l n (f_{θ} (X)), for some θ \in Θ

$l(X; \theta) = ln(f_{\theta}(X)),\text{ for some } \theta \in \Theta$

$\theta$

$\psi(\theta)$ $T(X) = (T_1(X), \dots, T_d(X))$

\forall_{θ \in Θ} E_{θ} [T (X)] = ψ (θ)

$\forall_{\theta \in \Theta}\ E_{\theta}[T(X)] = \psi(\theta)$

$T(X)$ $cov_{\theta}(T(X))$

c o v_{θ} (T (X)) \geq \frac{\partial ψ (θ)}{\partial θ} I^{- 1} (θ) (\frac{\partial ψ (θ)}{\partial θ})^{T} = B (θ)

$cov_{\theta}(T(X)) \ge \frac{\partial\psi(\theta)}{\partial\theta}I^{-1}(\theta)\Big(\frac{\partial\psi(\theta)}{\partial\theta}\Big)^T = B(\theta)$

$A \ge B$ $A - B$ $\frac{\partial\psi(\theta)}{\partial\theta}$ $J_{i,j}(\psi)$ $\theta$ $\psi(\theta) = \theta$

c o v_{θ} (T (X)) \geq I^{- 1} (θ)

$cov_{\theta}(T(X)) \ge I^{-1}(\theta)$

Pero, ¿qué nos dice realmente? Por ejemplo, recuerde que

v a r_{θ} (T_{i} (X)) = [c o v_{θ} (T (X))]_{i, i}

$var_{\theta}(T_i(X)) = [cov_{\theta}(T(X))]_{i,i}$

$A$

\forall_{i} A_{i, i} \geq 0

$\forall_i\ A_{i,i} \ge 0$

$B(\theta)$

\forall_{i} v a r_{θ} (T_{i} (X)) \geq [B (θ)]_{i, i}

$\forall_i\ var_{\theta}(T_i(X)) \ge [B(\theta)]_{i,i}$

Entonces, CRLB no nos dice la varianza de nuestro estimador, pero si nuestro estimador es óptimo , es decir, si tiene la covarianza más baja entre todos los estimadores no sesgados.

— Łukasz Grad
fuente

Agradezco tu explicación aquí. Realmente no soy una persona matemática, pero estoy en el camino de aprender las matemáticas seriamente. Sin embargo, todavía me parece demasiado abstracto. Espero que haya algún ejemplo gentil con números simples, que definitivamente lo entienda.

— user122358