Estimador de máxima verosimilitud - intervalo de confianza

¿Cómo puedo construir un intervalo de confianza asintótico para un parámetro real, comenzando desde el MLE para ese parámetro?

— Fabrizio
fuente

Una forma de abordar este problema es utilizar el método delta: en.wikipedia.org/wiki/Delta_method

Me di cuenta de que hay votos para cerrar esta pregunta demasiado amplia, pero no es un teorema general sobre el comportamiento asintótico de MLEs que puede ser sucintamente. Puse una respuesta concisa que ampliaré un poco más tarde.

— Scortchi - Restablece a Monica

Use el hecho de que para una muestra iid de tamaño , dadas algunas condiciones de regularidad, el MLE es un estimador consistente del parámetro verdadero , y su distribución asintóticamente Normal, con una varianza determinada por el recíproco del Información de Fisher: $n$ $\hat{\theta}$ $\theta_0$

\sqrt{n} (\hat{θ} - θ_{0}) \to N (0, \frac{1}{I_{1} (θ_{0})})

$\sqrt{n}\left(\hat{\theta}-\theta_0\right) \rightarrow \mathcal{N}\left(0,\frac{1}{\mathcal{I}_1(\theta_0)}\right)$ donde es la información de Fisher de una sola muestra. La información observada en el MLE tiende a la información esperada asintóticamente, por lo que puede calcular (digamos 95%) intervalos de confianza con

I_{1} (θ_{0})

$\mathcal{I}_1(\theta_0)$

I (\hat{θ})

$I(\hat{\theta})$

\hat{θ} \pm \frac{1.96}{\sqrt{n I_{1} (\hat{θ})}}

$\hat{\theta} \pm \frac{1.96}{\sqrt{nI_1\left(\hat\theta\right)}}$

Por ejemplo, si es una variante de Poisson truncada a cero, puede obtener una fórmula para la información observada en términos de MLE (que debe calcular numéricamente): $X$

f (x) = \frac{e^{- θ} θ^{x}}{x! (1 - e^{- θ})}

$\newcommand{\e}{\mathrm{e}}\newcommand{\d}{\operatorname{d}}f(x) = \frac{\e^{-\theta}\theta^x}{x!(1-e^{-\theta})}$

ℓ (θ) = - θ + x \log θ - \log (1 - e^{- θ})

$\ell(\theta)=-\theta+ x\log\theta -\log(1-\e^{-\theta})$

\frac{d ℓ (θ)}{d θ} = - 1 + \frac{x}{θ} - \frac{e^{- θ}}{1 - e^{- θ}}

$\frac{\d\ell(\theta)}{\d\theta} = -1 +\frac{x}{\theta} - \frac{\e^{-\theta}}{1-\e^{-\theta}}$

I_{1} (\hat{θ}) = - \frac{d^{2} ℓ (\hat{θ})}{{(d \hat{θ})}^{2}} = \frac{x}{\hat{θ}} - \frac{e^{- \hat{θ}}}{{(1 - e^{- \hat{θ}})}^{2}}

$I_1\left(\hat{\theta}\right)=-\frac{\d^2\ell\left(\hat\theta\right)}{\left(\d\hat\theta\right)^2} = \frac{x}{\hat\theta} - \frac{\e^{-\hat\theta}}{\left(1-\e^{-\hat{\theta}}\right)^2}$

Los casos notables excluidos por las condiciones de regularidad incluyen aquellos donde

el parámetro determina el soporte de los datos, por ejemplo, el muestreo de una distribución uniforme entre nada y $\theta$ $\theta$
el número de parámetros molestos aumenta con el tamaño de la muestra

— Scortchi - Restablece a Monica
fuente

¿Este método se aplica sin modificar cuando hay restricciones en , por ejemplo, ? ¿Qué pasa con un MLE para parámetros , tal que y ?

θ

$\theta$

θ \in [0, 1]

$\theta \in [0, 1]$

N

$N$

θ_{i}

$\theta_i$

i = 0, . . ., N - 1

$i=0,...,N-1$

\sum_{i = 0}^{N - 1} θ_{i} = 1

$\sum_{i=0}^{N-1} \theta_i = 1$

θ_{i} \in [0, 1]

$\theta_i \in [0,1]$

— quant_dev

If , es decir, el valor verdadero no es igual a uno de los límites.

θ \in (0, 1)

$\theta \in (0, 1)$

— Scortchi - Restablece a Monica

If y, ¿no significaría que la aproximación normal no es aplicable y que necesito más muestras?

θ \in (0, 1)

$\theta \in (0,1)$

σ (\hat{θ}) > | \hat{θ} |

$\sigma(\hat{\theta}) > |\hat{\theta}|$

— quant_dev

Sí, es solo un intervalo de confianza asintótico.

— Scortchi - Restablece a Monica

@quant_dev: No: buscaría una transformación de los parámetros que hicieron que la aproximación Normal sea decente, o utilice otro método.

— Scortchi - Restablece a Monica