Estimadores de máxima verosimilitud para una distribución truncada

Considere muestras independientes obtiene a partir de una variable aleatoria que se supone que sigue una distribución truncada (por ejemplo, un truncado distribución normal ) de mínimo conocido (finito) y los valores máximos de y pero de parámetros desconocidos y . Si seguía una distribución no truncada, los estimadores de probabilidad máxima y para y de serían la media muestral $N$ $S$ $X$ $a$ $b$ $\mu$ $\sigma^2$ $X$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $S$ $\widehat\mu = \frac{1}{N} \sum_i S_i$ y la varianza muestral . Sin embargo, para una distribución truncada, la varianza de la muestra definida de esta manera está limitada por por lo que no siempre es un estimador consistente: para , no puede converger en probabilidad a como va al infinito. Entonces parece que y no son los estimadores de máxima probabilidad de y para una distribución truncada. Por supuesto, esto es de esperar ya que y $\widehat\sigma^2 = \frac{1}{N} \sum_i (S_i - \widehat\mu)^2$ $(b-a)^2$ $\sigma^2 > (b-a)^2$ $\sigma^2$ $N$ $\widehat\mu$ $\widehat\sigma^2$ $\mu$ $\sigma^2$ $\mu$ $\sigma^2$ Los parámetros de una distribución normal truncada no son su media y varianza.

Entonces, ¿cuáles son los estimadores de máxima verosimilitud de los parámetros $\mu$ y $\sigma$ de una distribución truncada de valores mínimos y máximos conocidos?

— a3nm
fuente

¿Estás seguro de tu análisis? Creo que está haciendo una suposición inválida: para la situación truncada, el MLE de

σ^{2}

$\sigma^2$ ya no es la varianza de la muestra (y, en general, el MLE de

μ

$\mu$ ya no es la media de la muestra).

— whuber

whuber: Lo sé, esta es precisamente mi pregunta: ¿cuáles son los MLE de

σ^{2}

$\sigma^2$ y

μ

$\mu$ en el caso truncado? Agregar una oración para insistir en esto.

— a3nm

No hay una solución de forma cerrada. Todo lo que puede hacer es minimizar numéricamente la probabilidad de registro. Pero esto no es cualitativamente diferente de muchos otros modelos, como la regresión logística, que tampoco tiene una solución de forma cerrada.

— whuber

whuber: Si esto es cierto, esto es bastante decepcionante. ¿Tiene referencias sobre la falta de soluciones de forma cerrada? ¿Existen estimadores de forma cerrada que no tienen la máxima probabilidad pero que son al menos consistentes (y opcionalmente imparciales)?

— a3nm

@whuber: ¿Puede al menos simplificar sus muestras en estadísticas suficientes para que la minimización sea rápida?

— Neil G

Considere cualquier familia de escala de ubicación determinada por una distribución "estándar" , $F$

Ω_{F} = {F_{(μ, σ)} : x \to F (\frac{x - μ}{σ}) ∣ σ > 0} .

$\Omega_F = \left\{F_{(\mu, \sigma)}: x \to F\left(\frac{x-\mu}{\sigma}\right) \mid \sigma \gt 0\right\}.$

Suponiendo que diferenciable, encontramos que los archivos PDF son . $F$ $\frac{1}{\sigma}f\left((x-\mu)/\sigma\right)dx$

Truncar estas distribuciones para restringir su soporte entre y , , significa que los archivos PDF se reemplazan por $a$ $b$ $a \lt b$

f_{(μ, σ; a, b)} (x) = \frac{f (\frac{x - μ}{σ}) d x}{σ C (μ, σ, a, b)}, a \leq x \leq b

$f_{(\mu, \sigma; a,b)}(x) = \frac{f\left(\frac{x-\mu}{\sigma}\right)dx}{\sigma C(\mu, \sigma, a, b)}, a \le x \le b$

(y son cero para todos los demás valores de ) donde es el factor de normalización necesario para garantizar que integre a la unidad. (Tenga en cuenta que es idénticamente en ausencia de truncamiento). Por lo tanto, la probabilidad de registro para los datos de iid es $x$ $C(\mu, \sigma, a, b) = F_{(\mu,\sigma)}(b) - F_{(\mu,\sigma)}(a)$ $f_{(\mu, \sigma; a, b)}$ $C$ $1$ $x_i$

Λ (μ, σ) = \sum_{i} [\log f (\frac{x_{i} - μ}{σ}) - \log σ - \log C (μ, σ, a, b)] .

$\Lambda(\mu, \sigma) = \sum_i \left[\log{f\left(\frac{x_i-\mu}{\sigma}\right)} - \log{\sigma}-\log{C(\mu, \sigma, a, b)}\right].$

Los puntos críticos (incluidos los mínimos globales) se encuentran donde (un caso especial que ignoraré aquí) o el gradiente desaparece. Usando subíndices para denotar derivados, podemos calcular formalmente el gradiente y escribir las ecuaciones de probabilidad como $\sigma=0$

\begin{aligned} 0 & = \frac{\partial Λ}{\partial μ} & = \sum_{i} [\frac{- f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} - \frac{C_{μ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \\ 0 & = \frac{\partial Λ}{\partial σ} & = \sum_{i} [\frac{- f_{σ} (\frac{x_{i} - μ}{σ})}{σ^{2} f (\frac{x_{i} - μ}{σ})} - \frac{1}{σ} - \frac{C_{σ} (μ, σ, a, b)}{C (μ, σ, a, b)}] \end{aligned}

$\eqalign{ 0 &= \frac{\partial\Lambda}{\partial\mu} &= \sum_i \left[\frac{-f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{C_\mu(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] \\ 0 &= \frac{\partial\Lambda}{\partial\sigma} &= \sum_i \left[\frac{-f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{\sigma^2f\left(\frac{x_i-\mu}{\sigma}\right)} -\frac{1}{\sigma}-\frac{C_\sigma(\mu,\sigma,a,b)}{C(\mu,\sigma,a,b)}\right] }$

Debido a y son fijos, soltarlos de la notación y escribir como y como . (Sin truncamiento, ambas funciones serían idénticamente cero). Separar los términos que involucran los datos del resto da $a$ $b$ $nC_\mu(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $A(\mu,\sigma)$ $nC_\sigma(\mu, \sigma, a, b)/C(\mu, \sigma,a,b)$ $B(\mu, \sigma)$

\begin{aligned} - A (μ, σ) & = \sum_{i} \frac{f_{μ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \\ - σ^{2} B (μ, σ) - n σ & = \sum_{i} \frac{f_{σ} (\frac{x_{i} - μ}{σ})}{f (\frac{x_{i} - μ}{σ})} \end{aligned}

$\eqalign{ -A(\mu,\sigma) &= \sum_i \frac{f_\mu\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} \\ -\sigma^2 B(\mu,\sigma) - n\sigma &= \sum_i \frac{f_\sigma\left(\frac{x_i-\mu}{\sigma}\right)}{f\left(\frac{x_i-\mu}{\sigma}\right)} }$

Al compararlos con la situación de no truncamiento, es evidente que

Cualquier estadística suficiente para el problema original es suficiente para el problema truncado (porque los lados derechos no han cambiado).
Nuestra capacidad de encontrar soluciones de forma cerrada se basa en la manejabilidad de y . Si estos no involucran y de manera simple, no podemos esperar obtener soluciones de forma cerrada en general. $A$ $B$ $\mu$ $\sigma$

Para el caso de una familia normal, por supuesto, viene dada por el PDF normal acumulativo, que es una diferencia de las funciones de error: no existe la posibilidad de que una solución de forma cerrada pueda ser obtenido en general. Sin embargo, solo hay dos estadísticas suficientes (la media y la varianza de la muestra funcionarán) y el CDF es lo más uniforme posible, por lo que las soluciones numéricas serán relativamente fáciles de obtener. $C(\mu,\sigma,a,b)$

— whuber
fuente

¡Muchas gracias por esta respuesta tan detallada! No estoy seguro de obtener lo que son

, ¿podría definirlos? Además, es obvio, pero para ser precisos, quizás podría decir que su expresión para el pdf es para

(y el pdf es cero fuera de eso). ¡Gracias de nuevo!

f_{μ}

$f_\mu$

f_{σ}

$f_\sigma$

C_{μ}

$C_\mu$

C_{σ}

$C_\sigma$

x \in [a, b]

$x \in [a, b]$

— a3nm

La notación más larga habitual es

, etc.: como se anunció, es una derivada. Haré el segundo cambio que sugieran porque es una aclaración importante, gracias.

C_{μ} = \frac{\partial}{\partial μ} C (μ, σ, a, b)

$C_\mu = \frac{\partial}{\partial\mu}C(\mu,\sigma,a,b)$

— whuber

Además, dado que su respuesta es más general que la que esperaba, edité mi pregunta para insistir menos en el caso de las distribuciones normales. Gracias de nuevo por tu esfuerzo.

— a3nm

¡Era más fácil de explicar a este nivel de generalidad en comparación con centrarse en las distribuciones normales! Calcular las derivadas y mostrar la forma precisa del CDF son distracciones innecesarias (aunque útiles cuando se comienza a codificar la solución numérica).

— whuber

Gracias por arreglar! Te perdiste uno de ellos; ¿podrías revisar mi edición?

— a3nm