¿La distribución beta tiene un conjugado antes?

34

Sé que la distribución beta es conjugado a la binomial. Pero, ¿qué es el conjugado antes de la beta? Gracias.

beta-distribution conjugate-prior

25

Parece que ya dio la altura de conjugación. Sólo para que conste, una cosa que he visto a gente hacer (pero no recuerda exactamente dónde, lo siento) es una reparametrización de esta manera. Si son condicionalmente iid, dada , de manera que , recuerda que y Por lo tanto, es posible parametrizar la probabilidad en términos de y y su uso como antes $X_1,\dots,X_n$ $\alpha,\beta$ $X_i\mid\alpha,\beta\sim\mathrm{Beta}(\alpha,\beta)$

E [X_{i} ∣ α, β] = \frac{α}{α + β} =: μ

$\mathbb{E}[X_i\mid\alpha,\beta]=\frac{\alpha}{\alpha+\beta} =: \mu$

V una r [X_{yo} ∣ α, β] = \frac{α β}{(α + β)^{2} (α + β + 1)} =: σ^{2} .

$\mathbb{Var}[X_i\mid\alpha,\beta] = \frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} =: \sigma^2 \, .$

μ

$\mu$

σ^{2}

$\sigma^2$

σ^{2} ∣ μ \sim U [0 0, μ (1 - μ)] μ \sim U [0 0, 1] .

$\sigma^2\mid\mu \sim \mathrm{U}[0,\mu(1-\mu)] \qquad \qquad \mu\sim\mathrm{U}[0,1] \, .$ Ahora ya está listo para calcular la posterior y explorarlo por su método de cálculo favorita.

— zen
fuente

44

No, no MCMC esta cosa! Cuadratura de esta cosa! solamente 2 parámetros - cuadratura es el "patrón oro" para las pequeñas dimensiones posteriores, tanto por el tiempo y la precisión.

— probabilityislogic

3

Otra opción es considerar como una medida de precisión, y de nuevo utilizar como la media. Esto se hace todo el tiempo con los procesos de Dirichlet, y la distribución beta es un caso especial. Así que tal vez lanzar una gamma o log-normal antes de y uniforme sobre .

ψ = α + β

$\psi = \alpha + \beta$

μ = \frac{α}{α + β}

$\mu = \frac{\alpha}{\alpha + \beta}$

ψ

$\psi$

μ

$\mu$

— chico

2

Sin duda, esto no es conjugado, correcto?

— chico

3

¡Definitivamente no!

— Zen

Hola @Zen, estoy lidiando con este problema en este momento, pero soy nuevo en Bayesian y no estoy seguro si estoy entendiendo la idea. Me di cuenta de que estás proponiendo encontrar y luego usar reparametrización, pero por supuesto esa no fue la idea, ¿podrían ayudarme a entender?

\int_{0}^{1} \frac{1}{μ (1 - μ} d μ

$\int_{0}^{1}{\frac{1}{\mu(1-\mu}}d\mu$

— Red Noise

23

Sí, tiene un conjugado anterior en la familia exponencial. Considere la familia de tres parámetros Para algunos valores de esto es integrable, aunque todavía no he descubierto cuál (creo que y deberían funcionar - corresponde a distribuciones exponenciales independientes eso definitivamente funciona, y la actualización conjugada implica incrementar por lo que esto sugiere que funciona).

π (α, β ∣ una, si, pags) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{pags} \exp (una α + si β) .

$\pi(\alpha, \beta \mid a, b, p) \propto \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right).$

(a, b, p)

$(a, b, p)$

p \geq 0

$p \ge 0$

a < 0, b < 0

$a < 0, b < 0$

p = 0

$p = 0$

p

$p$

p > 0

$p > 0$

El problema, y al menos parte de la razón por la que nadie lo usa, es que es decir, la constante de normalización no tiene una forma empalagosa.

\int_{0 0}^{\infty} \int_{0 0}^{\infty} {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{pags} \exp (una α + si β) = ?

$\int_0^\infty \int_0^\infty \left\{\frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}\right\}^p \exp\left(a\alpha + b\beta \right) = ?$

— chico
fuente

Ah Eso es problemático. Iba a buscar una versión no informativa del conjugado antes de todos modos, por lo que parece que también podría comenzar con anteriores uniformes sobre los dos parámetros. Gracias.

— Brash Equilibrium

No necesita normalizarlo si solo compara probabilidades ...

— Neil G

Creo que también podrías perderte la acción de en tu término . Probablemente debería ser , etc.

p

$p$

\exp

$\exp$

p a α

$pa\alpha$

— Neil G

@NeilG está en , solo tiene que expresar las cosas en términos de lugar de . Hacer es solo una reparmetrización, no cambia nada. No estoy seguro de lo que quiere decir "solo comparando probabilidades". No puede implementar una muestra de Gibbs con esto antes sin usar algo como Metropolis, que mata la ventaja de la conjugación condicional, la constante de normalización depende de y que mata poniendo un prior sobre ellos o estimándolos por métodos de probabilidad, etc. .

p

$p$

\exp

$\exp$

\log Γ (\dots)

$\log \Gamma(\cdots)$

Γ (\dots)

$\Gamma(\cdots)$

p a α

$pa\alpha$

a

$a$

b

$b$

— chico

2

@NeilG integral está sobre y ya que esas son las variables aleatorias.

α

$\alpha$

β

$\beta$

— chico

9

En teoría debería haber un conjugado previo para la distribución beta. Esto es porque

la distribución beta es una de las distribuciones familiares exponenciales , y
en teoría debería ser posible derivar un previo. Ver, por ejemplo, wikipedia , la conferencia de D Blei sobre familias exponenciales .

Sin embargo, la derivación parece difícil, y para citar las familias exponenciales de A Bouchard-Cote y las prioridades conjugadas

Una observación importante para hacer es que esta receta no siempre produce un conjugado previo que sea manejable computacionalmente.

De acuerdo con esto, no existe un previo para la distribución Beta en el Compendio A de Prejuntos Conjuntos de D Fink .

— TooTone
fuente

3

La derivación no es difícil - Vea mi respuesta: mathoverflow.net/questions/63496/…

— Neil G

3

No creo que haya una distribución "estándar" (es decir, familia exponencial) que sea el conjugado previo para la distribución beta. Sin embargo, si existe, tendría que ser una distribución bivariada.

No tengo idea sobre esta pregunta, pero encontré este práctico mapa anterior conjugado que parece respaldar su respuesta: johndcook.com/conjugate_prior_diagram.html

— Justin Bozonier

El conjugado anterior está en la familia exponencial y tiene tres parámetros, no dos.

— Neil G

1

@Neil, definitivamente tienes razón. Supongo que debería haber dicho que tendría que tener al menos dos parámetros.

-1: esta respuesta es claramente errónea en la afirmación de que "el conjugado anterior no existe en la familia exponencial", como se demuestra en la respuesta anterior ...

— Jan Kukacka

3

Robert y Casella (RC) describen la familia de los conjugados anteriores de la distribución beta en el ejemplo 3.6 (p 71-75) de su libro, Introducing Monte Carlo Methods in R , Springer, 2010. Sin embargo, citan el resultado sin citar una fuente.

Se agregó en respuesta a la solicitud de detalles de Gung. RC indica que para la distribución , el conjugado anterior es "... de la forma $B(\alpha, \beta)$

π (α, β) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} X_{0 0}^{α} y_{0 0}^{β}

$\pi(\alpha,\beta) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} x_0^{\alpha} y_0^{\beta}$

donde son hiperparámetros, ya que el posterior es igual a $\{\lambda, x_0, y_0\}$

π (α, β El | X) \propto {\frac{Γ (α + β)}{Γ (α) Γ (β)}}^{λ} (X X_{0 0})^{α} ((1 - X) y_{0 0})^{β} . "

$\pi(\alpha,\beta \vert x) \propto \Big\{ \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \Big\} ^{\lambda} (xx_0)^{\alpha} ((1-x)y_0)^{\beta}."$

El resto del ejemplo se refiere al muestreo de importancia de para calcular la probabilidad marginal de . $\pi(\alpha,\beta \vert x)$ $x$

— usuario37239
fuente

2

No tengo el libro de Robert disponible, pero el posterior es . Robert también publicó sobre este tema aquí mathoverflow.net/questions/20399/…

π (α, β) \propto {(\frac{Γ (α + β)}{Γ (α) Γ (β)})}^{λ + 1} (x x_{0})^{α - 1} {(y_{0} (1 - x))}^{β - 1}

$\pi(\alpha, \beta) \propto \left( \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha) \Gamma(\beta)} \right)^{\lambda +1} (x x_0)^{\alpha-1} \left(y_0 (1-x) \right)^{\beta-1}$

— Fred Schoen

1

Recomiendo humildemente que el póster original actualice la publicación para indicar que la parte posterior del libro de texto es incorrecta, según el comentario de Fred Schoen (que se verifica fácilmente).

— RMurphy