¿Cuáles son las definiciones de semiconjugados y anteriores conjugados condicionales?

¿Cuáles son las definiciones de los semi-conjugados anteriores y de los condicional conjugados anteriores ? Los encontré en el Análisis de datos bayesianos de Gelman , pero no pude encontrar sus definiciones.

bayesian

— Tim
fuente

Respuestas:

Usando la definición en Bayesian Data Analysis (3rd ed) , si es una clase de distribuciones de muestreo , y es una clase de distribuciones anteriores para , entonces el class es conjugado para si $\mathcal{F}$ $p(y|\theta)$ $\mathcal{P}$ $\theta$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y) \in P for all p (\cdot | θ) \in F and p (\cdot) \in P .

$p(\theta|y)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta)\in \mathcal{F} \mbox{ and }p(\cdot)\in \mathcal{P}.$

Si es una clase de distribuciones de muestreo , y es una clase de distribuciones anteriores para condicional en , entonces la clase es conjugado condicional para si $\mathcal{F}$ $p(y|\theta,\phi)$ $\mathcal{P}$ $\theta$ $\phi$ $\mathcal{P}$ $\mathcal{F}$

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

Los antecedentes conjugados condicionalmente son convenientes para construir una muestra de Gibbs ya que el condicional completo será una familia conocida.

Busqué una versión electrónica de Bayesian Data Analysis (3ª ed.) Y no pude encontrar una referencia a semi-conjugado antes. Supongo que es sinónimo de conjugación condicional, pero si proporciona una referencia a su uso en el libro, debería poder proporcionarle una definición.

— jaradniemi
fuente

+1. ¿Cuál es la URL para la 3ª edición de Bayesian Data Analysis?

— Patrick Coulombe

¡Gracias! Semi-conjugado aparece aquí (2ª ed.) Books.google.com/… . Por cierto, ¿cómo obtuviste el libro electrónico para la 3ra ed?

— Tim

No estoy seguro de por qué dice semiconjugado antes ya que el anterior está completamente conjugado. Esta declaración se elimina en la 3ª edición. El libro electrónico se puede comprar aquí: crcpress.com/product/isbn/9781439840955 .

— jaradniemi

@jaradniemi: En el enlace que di, además de p84, se señala que el semiconjugado anterior no es un conjugado anterior.

— Tim

En ¿a qué se refiere cada y cada uno se refiere a lo mismo?

p (θ | y, ϕ) \in P for all p (\cdot | θ, ϕ) \in F and p (\cdot | ϕ) \in P .

$p(\theta|y,\phi)\in \mathcal{P} \mbox{ for all }p(\cdot|\theta,\phi)\in \mathcal{F} \mbox{ and }p(\cdot|\phi)\in \mathcal{P}.$

\cdot

$\cdot$

— Muno

Me gustaría usar multivariante normal como ejemplo.

Recordemos que la probabilidad viene dada por

P (y_{1}, y_{2}, . . ., y_{n} | μ, Σ) = (2 π)^{- \frac{N D}{2}} det (Σ)^{- \frac{N}{2}} \exp (\frac{1}{2} \sum_{i = 1}^{N} (x_{i} - μ)^{T} Σ^{- 1} (x_{i} - μ))

$P(y_1,y_2,...,y_n|\mu,\Sigma) = (2\pi)^{-\frac{ND}{2}}\det(\Sigma)^{-\frac{N}{2}}\exp(\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu))$

Con el fin de encontrar un antes de esta probabilidad, podemos elegir

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

Le aseguro que NO se preocupe por por ahora; son simplemente parámetros de la distribución previa. $\mu_0,\Lambda_0,\nu_0,S_0$

Sin embargo, lo importante es que esto no se conjuga con la probabilidad. Para ver por qué, me gustaría citar una referencia que encontré en línea.

tenga en cuenta que y aparecen juntos de manera no factorizada en la probabilidad; por lo tanto, también se unirán en la parte posterior $\mu$ $\Sigma$

La referencia es "Aprendizaje automático: una perspectiva probabilística" de Kevin P. Murphy. Aquí está el enlace . Puede encontrar la cita en la Sección 4.6 (Inferir los parámetros de un MVN) en la parte superior de la página 135.

Para continuar la cita,

El anterior anterior a veces se llama semi-conjugado o condicionalmente conjugado , ya que ambos condicionales, y , son conjugados individualmente. Para crear un conjugado previo completo , necesitamos usar un previo donde y dependen el uno del otro. Utilizaremos una distribución conjunta del formulario. $p(\mu|\Sigma)$ $p(\Sigma|\mu)$ $\mu$ $\Sigma$

$p (μ, Σ) = p (Σ) p (μ | Σ)$ $p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

La idea aquí es que la primera distribución previa

P (μ, Σ) = Normal (μ; μ_{0}, Λ_{0}) InverseWishart (Σ; ν_{0}, S_{0})

$P(\mu,\Sigma)=\text{Normal}(\mu;\mu_0,\Lambda_0)\text{InverseWishart}(\Sigma;\nu_0,S_0)$

supone que y son separables (o independientes en cierto sentido). Sin embargo, observamos que en la función de verosimilitud, y no se pueden factorizar por separado, lo que implica que no serán separables en la parte posterior (Recall, ). Esto muestra que el posterior "no separable" y el anterior "separable" al principio no están conjugados. Por otro lado, reescribiendo $\mu$ $\Sigma$ $\mu$ $\Sigma$ $(\text{Posterior}) \sim (\text{Prior})(\text{Likelihood})$

p (μ, Σ) = p (Σ) p (μ | Σ)

$p(\mu, \Sigma) = p(\Sigma)p(\mu|\Sigma)$

de modo que y dependen el uno del otro (a través de ), obtendrá un conjugado previo, que se denomina semi-conjugado previo . Espero que esto responda tu pregunta. $\mu$ $\Sigma$ $p(\mu|\Sigma)$

ps : Otra referencia realmente útil que he usado es "Un primer curso en métodos estadísticos bayesianos" de Peter D. Hoff. Aquí hay un enlace al libro. Puede encontrar contenido relevante en la Sección 7 a partir de la página 105, y él tiene una muy buena explicación (e intuición) sobre la distribución normal de una sola variable en la Sección 5 a partir de la página 67, que se reforzará nuevamente en la Sección 7 cuando trate con MVN.

— Nunca seas
fuente

Si es una clase de distribuciones de muestreo , y es una clase de distribuciones anteriores para , entonces la clase es semiconjugada para si para todo y , donde y no pertenece a la clase . $F$ $p(y|θ,ϕ)$ $P$ $θ$ $P$ $F$ $p(θ|y,ϕ)∈P$ $p(⋅|θ,ϕ)∈F$ $p(θ,ϕ)=p(θ)\times p(ϕ)$ $p(θ)∈P$ $p(ϕ)$ $P$

— nudtlxt
fuente