Ventajas de la familia exponencial: ¿por qué deberíamos estudiarla y usarla?

Entonces aquí estoy estudiando inferencia. Me gustaría que alguien pudiera enumerar las ventajas de la familia exponencial. Por familia exponencial, me refiero a las distribuciones que se dan como

\begin{aligned} f (x | θ) = h (x) \exp {η (θ) T (x) - B (θ)} \end{aligned}

$\begin{align*} f(x|\theta) = h(x)\exp\left\{\eta(\theta)T(x) - B(\theta)\right\} \end{align*}$

cuyo soporte no depende del parámetro $\theta$ . Aquí hay algunas ventajas que descubrí:

(a) Incorpora una amplia variedad de distribuciones.

(b) Ofrece una estadística natural suficiente $T(x)$ según el teorema de Neyman-Fisher.

(d) Facilita el desacoplamiento de la relación entre la respuesta y el predictor de la distribución condicional de la respuesta (a través de las funciones de enlace).

¿Alguien puede proporcionar alguna otra ventaja?

self-study exponential-family

— usuario1337
fuente

para garantizar la generalidad de las respuestas: ¿hay algún PDF útil que no esté en la familia exponencial?

— Meduz

Respuestas:

... ¿por qué deberíamos estudiarlo y usarlo?

Creo que su lista de ventajas responde efectivamente a su propia pregunta, pero permítame ofrecerle algunos comentarios metamatemáticos que podrían aclarar este tema. En términos generales, a los matemáticos les gusta generalizar conceptos y resultados hasta el punto máximo que puedan, hasta el límite de su utilidad.. Es decir, cuando los matemáticos desarrollan un concepto y encuentran que uno o más teoremas útiles se aplican a ese concepto, generalmente buscarán generalizar el concepto y los resultados cada vez más, hasta que lleguen al punto en que una mayor generalización haga que los resultados sean inaplicables. o ya no es útil. Como se puede ver en su lista, la familia exponencial tiene una serie de teoremas útiles adjuntos, y abarca una amplia clase de distribuciones. Esto es suficiente para convertirlo en un objeto de estudio digno y una clase matemática útil en la práctica.

¿Alguien puede proporcionar alguna otra ventaja?

Esta clase tiene varias buenas propiedades en el análisis bayesiano. En particular, las distribuciones familiares exponenciales siempre tienen antecedentes conjugados, y la distribución predictiva posterior resultante tiene una forma simple. Esta es una clase extremadamente útil de distribuciones en las estadísticas bayesianas. De hecho, le permite realizar análisis bayesianos utilizando antecedentes conjugados en un nivel de generalidad extremadamente alto, que abarca todas las familias distribucionales en la familia exponencial.

— Reinstalar a Mónica
fuente

Secundo la nominación de "conjugado previo" como una razón para agradar a la familia exponencial. De hecho, los antecedentes conjugados y las estadísticas suficientes juegan muy bien juntos, por lo que juntos estarían en la parte superior de mi lista de razones para usar la familia exponencial.

— Peter Leopold

Ah! Un compañero bayesiano que veo!

— Vuelva a instalar a Monica el

¿Cómo sabes que el predictivo posterior tiene una forma simple? Por ejemplo, la predicción posterior de un modelo normal con media y varianza desconocidas es la T. de estudiante escalada no central. ¿Es esa una forma simple?

— Neil G

@Neil G: con los datos IID de una familia exponencial y un conjugado anterior, la distribución predictiva es una relación de dos instancias de la función de normalización para el anterior, donde los argumentos del denominador se actualizan agregando la estadística suficiente y el número de observaciones para Los nuevos datos. Esta es una forma simple y general para la distribución predictiva, que se obtiene al encontrar el factor de normalización para el congugado antes (ver, por ejemplo, la sección 9.0.5 de estas notas ).

— Vuelva

De acuerdo, ya veo. Nunca he visto esto antes, gracias.

— Neil G

Diría que la motivación más convincente para las familias exponenciales es que tienen una distribución mínima supuesta dada las mediciones . Si tiene un sensor de valor real cuyas mediciones se resumen por media y varianza, entonces la suposición mínima que puede hacer sobre sus observaciones es que normalmente están distribuidas. Cada familia exponencial es el resultado de un conjunto similar de supuestos.

Jaynes afirma este principio de máxima entropía:

“La distribución de entropía máxima puede afirmarse por la razón positiva de que se determina de manera única como la que no es comprometida con respecto a la información que falta, en lugar de la negativa de que no había razón para pensar lo contrario. Así, el concepto de entropía proporciona el criterio de elección que falta ... "

— Neil G
fuente