¿Cómo se calculan los errores estándar para una transformación del MLE?

Necesito hacer inferencia sobre un parámetro positivo . Para acomodar la positividad reparametrice . Usando la rutina MLE, calculé la estimación puntual y se para . La propiedad de invariancia del MLE me da directamente una estimación puntual para , pero no estoy seguro de cómo calcular se para . Gracias de antemano por cualquier sugerencia o referencia. $p$ $p=\exp(q)$ $q$ $p$ $p$

maximum-likelihood standard-error delta-method

— Marcel
fuente

¿No puede usar la misma rutina MLE para calcular una estimación puntual y se para

p

$p$ directamente?

— whuber

Respuestas:

El método Delta se utiliza para este propósito. Según algunos supuestos de regularidad estándar , sabemos que el MLE, $\hat{\theta}$ para $\theta$ se distribuye aproximadamente (es decir, asintóticamente) como

\hat{θ} \sim N (θ, I^{- 1} (θ))

$\hat{\theta} \sim N(\theta, \mathcal{I}^{-1}(\theta))$

donde es el inverso de la información de Fisher para toda la muestra, evaluada en y denota la distribución normal con media y varianza . La invariancia funcional del MLE dice que el MLE de , donde es una función conocida, es (como usted señaló) y tiene una distribución aproximada $\mathcal{I}^{-1}(\theta)$ $\theta$ $N(\mu,\sigma^{2})$ $\mu$ $\sigma^{2}$ $g(\theta)$ $g$ $g(\hat{\theta})$

g (\hat{θ}) \sim N (g (θ), I^{- 1} (θ) [g^{'} (θ)]^{2})

$g(\hat{\theta}) \sim N( g(\theta), \mathcal{I}^{-1}(\theta) [g'(\theta)]^{2} )$

donde puede conectar estimadores consistentes para las cantidades desconocidas (es decir, conecte donde aparece en la varianza). Supongo que los errores estándar que tiene se basan en la información de Fisher (ya que tiene MLE). Denote ese error estándar por . Entonces, el error estándar de , como en su ejemplo, es $\hat{\theta}$ $\theta$ $s$ $e^{\hat{\theta} }$

\sqrt{s^{2} e^{2 \hat{θ}}}

$\sqrt{s^{2}e^{2 \hat{\theta}}}$

Puedo interpretarlo al revés y en realidad tiene la varianza del MLE de y quiere la varianza del MLE de en cuyo caso el estándar sería $\theta$ $\log(\theta)$

\sqrt{s^{2} / {\hat{θ}}^{2}}

$\sqrt{ s^{2}/\hat{\theta}^{2} }$

— Macro
fuente

Solo una nota al margen: también hay extensiones multivariadas apropiadas mediante las cuales las derivadas se reemplazan por gradientes, y las multiplicaciones tienen que ser multiplicaciones matriciales, por lo que hay un poco más de dolor de cabeza al descubrir a dónde va la transposición.

— StasK

Gracias por señalar eso StasK. Creo en el caso multivariante que la covarianza asintótica de es

g (\hat{θ})

$g(\hat{\theta})$

\nabla g (θ)^{'} I (θ)^{- 1} \nabla g (θ)

$\nabla g(\theta)' \mathcal{I}(\theta)^{-1} \nabla g(\theta)$

— Macro

(+1) Agregué un enlace a los supuestos de regularidad (y algunas otras cosas) ya que no está claro si estos están satisfechos con el problema del OP. Podría haber dicho que es asintóticamente normal y no aproximadamente normal, ya que las tasas de convergencia pueden ser lentas a veces.

\hat{θ}

$\hat{\theta}$

— MånsT

Gracias @ MånsT, también aclaré que quise decir asintóticamente cuando dije aproximadamente :)

— Macro

Macro dio la respuesta correcta sobre cómo transformar los errores estándar a través del método delta. Aunque el OP solicitó específicamente los errores estándar, sospecho que el objetivo es producir intervalos de confianza para . Además de calcular los errores estándar estimados de , puede transformar directamente un intervalo de confianza, , en la parametrización en un intervalo de confianza en la -parametrización. Esto es perfectamente válido, e incluso puede ser una mejor idea dependiendo de qué tan bien la aproximación normal utilizada para justificar un intervalo de confianza basado en errores estándar funcione en la parametrización versus la $p$ $\hat{p}$ $[q_1, q_2]$ $q$ $[\exp(q_1), \exp(q_2)]$ $p$ $q$ $p$ -parametrización. Además, el intervalo de confianza directamente transformado cumplirá la restricción de positividad.

— NRH
fuente