¿Qué distribuciones tienen soluciones de forma cerrada para la estimación de máxima verosimilitud?

¿Qué distribuciones tienen soluciones de forma cerrada para las estimaciones de máxima verosimilitud de los parámetros de una muestra de observaciones independientes?

Sin ninguna pérdida apreciable de generalidad, podemos suponer que la densidad de probabilidad (o masa) para cualquier observación x i (de n observaciones) es estrictamente positiva, lo que nos permite escribirla como exponencial$f(x_i)$$x_i$$n$

$$f(x_i) = \exp{(g(x_i,\theta))}$$

para un vector de parámetros .$\theta = (\theta_j)$

Al igualar el gradiente de la función de probabilidad logarítmica a cero (que encuentra puntos estacionarios de la probabilidad, entre los cuales estarán todos los máximos globales interiores si existe), proporciona un conjunto de ecuaciones de la forma

$$\sum_i\frac{d g(x_i, \theta)}{d\theta_j} = 0,$$

uno para cada . Para que cualquiera de estos tenga una solución lista, nos gustaría poder separar los términos x i de los términos θ . (Todo surge de esta idea clave, motivada por el Principio de la holgazanería matemática : hacer el menor trabajo posible; pensar con anticipación antes de la computación; abordar primero las versiones fáciles de problemas difíciles). La forma más general de hacerlo es que las ecuaciones tomen la forma$j$$x_i$$\theta$

$$\sum_i \left(\eta_j(\theta) \tau_j(x_i) - \alpha_j(\theta)\right) = \eta_j(\theta)\sum_i \tau_j(x_i) - n \alpha_j(\theta)$$

para funciones conocidas , τ j y α j , para entonces la solución se obtiene resolviendo las ecuaciones simultáneas$\eta_j$$\tau_j$$\alpha_j$

$$\frac{n\alpha_j(\theta)}{\eta_j(\theta)}= \sum_i \tau_j(x_i)$$

para . En general, estos serán difíciles de resolver, pero siempre que el conjunto de valores de ( n α j ( θ $\theta$proporciona información completa sobreθ, podríamos simplemente usar este vectoren lugar deθ ensí mismo (generalizando de alguna manera la idea de una solución de "forma cerrada", pero de una manera altamente productiva). En tal caso, la integración con respecto aθjproduce$\left(\frac{n\alpha_j(\theta)}{\eta_j(\theta)}\right)$$\theta$ $\theta$$\theta_j$

$$g(x, \theta) = \tau_j(x)\int^\theta \eta_j(\theta) d\theta_j - \int^\theta \alpha_j(\theta) d\theta_j + B(x, \theta_j')$$

(donde representa todos los componentes de θ excepto θ j ). Debido a que el lado izquierdo es funcionalmente independiente de θ j , debemos tener que τ j ( x ) = T ( x ) para alguna función fija T ; que B no debe depender de θ en absoluto; y η j son derivadas de alguna función H ( θ ) y α j son derivadas de alguna otra función $\theta_j'$$\theta$$\theta_j$$\theta_j$$\tau_j(x)=T(x)$$T$$B$$\theta$$\eta_j$$H(\theta)$$\alpha_j$ , ambos funcionalmente independientes de los datos. De dónde$A(\theta)$

$$g(x, \theta) = H(\theta)T(x) - A(\theta) + B(x).$$

Las densidades que se pueden escribir de esta forma forman la conocida familia Koopman-Pitman-Darmois , o exponencial . Comprende familias paramétricas importantes, tanto continuas como discretas, que incluyen Gamma, Normal, Chi-cuadrado, Poisson, Multinomial y muchas otras .

No sé si podría enumerarlos a todos. Lo exponencial, lo normal y el binomio vienen a la mente y todos caen en la clase de familias exponenciales. La familia exponencial tiene su estadística suficiente en el exponente y el mle es a menudo una buena función de esta estadística suficiente.