Sesgo de estimadores de máxima verosimilitud para regresión logística

Me gustaría entender un par de hechos sobre estimadores de máxima verosimilitud (MLE) para regresiones logísticas.

1. ¿Es cierto que, en general, el MLE para la regresión logística está sesgado? Yo diría que sí". Sé, por ejemplo, que la dimensión de la muestra está relacionada con el sesgo asintótico de los MLE.

   ¿Conoces algunos ejemplos elementales de este fenómeno?

2. Si el MLE está sesgado, ¿es cierto que la matriz de covarianza de los MLE es la inversa del hessiano de la función de máxima verosimilitud?

   editar : he encontrado esta fórmula con bastante frecuencia y sin ninguna prueba; me parece una elección bastante arbitraria.

$T$Λ Λ ( u ) = [ 1 + exp { - u } ] -

$$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$$ $\Lambda$$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

En forma de logit tenemos

$$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$$

Tienes una muestra de talla . Denotar el número de observaciones donde y aquellos en los que , y . Considere las siguientes probabilidades condicionales estimadas:n 1 T i = 1 n 0 T i = 0 n 1 + n 0 = $n$$n_1$$T_i=1$$n_0$$T_i=0$$n_1+n_0=n$

$$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$$

$$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$$

Entonces, este modelo muy básico proporciona soluciones de forma cerrada para el estimador de ML:

$$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$$

PARCIALIDAD

Aunque y son estimadores insesgados de las probabilidades correspondientes, los MLE están sesgados, ya que la función logarítmica no lineal se interpone en el camino: imagine lo que sucede con los modelos más complicados , con un mayor grado de no linealidad.$\hat P_{1|1}$$\hat P_{1|0}$

Pero asintóticamente, el sesgo desaparece ya que las estimaciones de probabilidad son consistentes. Insertando directamente el operador dentro del valor esperado y el logaritmo, tenemos $\lim$

$$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$$

y del mismo modo para . $\beta$

MATRIZ DE VARIANZA-COVARIANZA DE MLE
En el caso simple anterior que proporciona expresiones de forma cerrada para el estimador, uno podría, al menos en principio, continuar y derivar su distribución exacta de muestra finita y luego calcular su matriz exacta de varianza-covarianza de muestra finita . Pero en general, el MLE no tiene una solución de forma cerrada. Luego recurrimos a una estimación consistente de la matriz de varianza-covarianza asintótica, que es (lo negativo de) el inverso del hessiano de la función de log-verosimilitud de la muestra, evaluada en el MLE. Y aquí no hay ninguna "elección arbitraria", pero resulta de la teoría asintótica y de las propiedades asintóticas del MLE (consistencia y normalidad asintótica), eso nos dice que, para , $\theta_0 = (\alpha, \beta)$

$${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$$

donde es el hessiano. Aproximadamente y para muestras finitas (grandes), esto nos lleva a$H$

$$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$$