Tener un conjugado previo: ¿Propiedad profunda o accidente matemático?

Algunas distribuciones tienen anteriores conjugados y otras no. ¿Es esta distinción solo un accidente? Es decir, usted hace los cálculos y funciona de una forma u otra, pero en realidad no le dice nada importante sobre la distribución, excepto por el hecho en sí

¿O la presencia o ausencia de un conjugado anterior refleja alguna propiedad más profunda de una distribución? ¿Las distribuciones con anteriores conjugados comparten alguna otra propiedad interesante o propiedades de las que carecen otras distribuciones que hacen que esas distribuciones, y no las otras, tengan un conjugado anterior?

bayesian mathematical-statistics conjugate-prior

— andrewH
fuente

Bueno, debes saber que cualquier distribución que pueda escribirse como miembro de la familia exponencial regular debe tener un conjugado previo.

¿Conocemos alguna clase interesante de distribuciones que se haya demostrado definitivamente que no tienen conjugados anteriores? Sé de muy pocas distribuciones con 3 o más parámetros que tienen CP conocidos, pero no estoy seguro si sabemos que estos no existen, o simplemente sé que no los hemos encontrado.

— andrewH

Interesante. Podría verse como una propiedad del operador que transporta lo anterior a lo posterior, en la misma familia paramétrica. Más interesante quizás, podría verse como una propiedad de cierre del triplete (distribución previa, distribución de muestreo, operador de actualización de Bayes).

— JohnRos

@JohnRos. Me gusta la forma en que piensas.

— andrewH

Con respecto a su declaración de apertura, solo tenga cuidado con el caso trivial de anteriores que ponen toda la masa en un solo valor del espacio de parámetros (no es realmente útil para hacer inferencia, ¿eh?). El teorema de Bayes muestra que estos son antecedentes conjugados para cada modelo. Por supuesto, representan el conocimiento previo de alguien con "ideas fijas".

— Zen

Respuestas:

No es por casualidad. Aquí encontrará una breve reseña muy agradable sobre los antecedentes conjugados. Concretamente, menciona que si existe un conjunto de estadísticas suficientes de dimensión fija para la función de probabilidad dada, entonces puede construir un conjugado antes de ello. Tener un conjunto de estadísticas suficientes significa que puede factorizar la probabilidad en una forma que le permita estimar los parámetros de una manera computacional eficiente.

Además de eso, tener antecedentes conjugados no solo es computacionalmente conveniente. También proporciona suavizado y permite trabajar con muy pocas muestras o sin muestras previas, lo cual es necesario para problemas como la toma de decisiones, en los casos en que tiene muy poca evidencia.

— jpmuc
fuente

Soy muy nuevo en las estadísticas bayesianas, pero me parece que todas estas distribuciones (y si no todas , al menos las que son útiles) comparten la propiedad de que están descritas por alguna métrica limitada sobre las observaciones que las definen. . Es decir, para una distribución normal, no necesita conocer cada detalle sobre cada observación, solo su recuento total y suma.

Para decirlo de otra manera, suponiendo que ya conozca la clase / familia de distribución, entonces la distribución tiene una entropía de información estrictamente menor que las observaciones que resultaron en ella.

¿Te parece trivial o es lo que estás buscando?

— Fabio Beltramini
fuente

¡Qué propiedades son "profundas" es un tema muy subjetivo! entonces la respuesta depende de tu concepto de "profundo". Pero, si tener antecedentes conjugados es una propiedad "profunda", en cierto sentido, entonces ese sentido es matemático y no estadístico. La única razón por la que (algunos) estadísticos están interesados en los conjugados anteriores es porque simplifican algunos cálculos. ¡Pero eso es menos importante para cada día que pasa!

 EDIT

$h$ $[0,1]$ $f(p;\alpha,\beta)$ $h(p)f(p;\alpha,\beta)$

mi {mi (θ ∣ X = X)} = una X + si

$\DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b$

a, b

$a,b$

$\text{prior}\times\text{likelihood}$ interpretaciones de datos anteriores a los parámetros en las familias conjugadas (habituales) enumeradas.

En resumen, las familias conjugadas habituales en familias exponenciales pueden justificarse como anteriores que conducen a métodos lineales, o como anteriores que provienen de representar datos anteriores. Espero que esta respuesta extendida ayude!

— kjetil b halvorsen
fuente

Esto es realmente un comentario, no una respuesta, @kjetil. Debe elaborarse en una respuesta o convertirse en un comentario.

— gung - Restablece a Monica

@gung Soy reacio a convertir esta respuesta en un comentario porque parece que puede interpretarse como una respuesta: afirma que la existencia de un conjugado anterior es de poca importancia, aparte de simplificar los cálculos. (¡Creo que puede haber razones para disputar la validez de esa afirmación, pero ser incorrecto no es lo mismo que no responder!)

— whuber

@whuber: ¿en qué razones, además de la simplicidad computacional, piensas? Intentaré expandirme en el anserv ...

— kjetil b halvorsen

Debido a que una formulación matemática explícita de una relación es algo que puede analizarse y entenderse, mientras que un simple resultado computacional es solo eso, un resultado, que generalmente no ofrece una visión generalizable. Es como la diferencia entre tener un mapa de un país del que puedes estudiar y aprender, en comparación con tener un dispositivo GPS de solo voz que te dará indicaciones para llegar. Ambos lo llevarán de un punto a otro, pero el primero le dirá mucho más sobre el espacio por el que está conduciendo.

— whuber