¿Pueden los condicionales completos determinar la distribución conjunta?

Escuché que todos los condicionales completos (como se usan en el muestreo de Gibbs) pueden determinar la distribución conjunta. Pero no entiendo por qué y cómo. ¿O escuché mal? ¡Gracias!

distributions

— Tim
fuente

Esta pregunta aparentemente simple es más profunda de lo que parece, llevándonos hasta el teorema de Hammersley-Clifford. El hecho de que podamos recuperar la distribución conjunta de los condicionales completos es lo que hace posible la muestra de Gibbs. Puede verse como un resultado sorprendente, si recordamos que los marginales no determinan la distribución conjunta.

Veamos qué sucede si calculamos formalmente con las definiciones bien conocidas de las densidades conjuntas, condicionales y marginales. Dado que tenemos y podemos recuperar formalmente la densidad de la unión de los condicionales completos haciendo que

f_{X, Y} (x, y) = f_{X ∣ Y} (x ∣ y) f_{Y} (y) = f_{Y ∣ X} (y ∣ x) f_{X} (x),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y = \int \frac{f_{Y} (y)}{f_{X} (x)} d y = \frac{1}{f_{X} (x)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$

f_{X, Y} (x, y) = \frac{f_{Y ∣ X} (y ∣ x)}{\int f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

El problema con este cálculo formal es que supone que todos los objetos involucrados existen.

Por ejemplo, considere lo que sucede si se nos da que Se deduce que , y la integral en el denominador de diverge.

X ∣ Y = y \sim Exp (y) and Y ∣ X = x \sim Exp (x) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$

(*)

$(*)$

Para garantizar que podamos recuperar la densidad de la unión de los condicionales completos usando necesitamos las condiciones de compatibilidad discutidas en este documento: $(*)$

"Distribuciones condicionales compatibles", Barry C. Arnold y S. James Press, Revista de la Asociación Americana de Estadística, vol. 84, núm. 405 (1989), págs. 152-156.

Finalmente, lea la discusión sobre el Teorema de Hammersley-Clifford en el libro de Robert y Casella

— zen
fuente

¿Podría aclarar qué se entiende por "la integral ... existe"? Parece que hay dos problemas diferentes aquí, a saber. (i) ¿existe o no la integral ? y (ii) si la integral existe, ¿es su valor ? ¿O está diciendo que siempre que e tienen densidades condicionales tales que existe , entonces debe ser que el valor de la integral es ?

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

X

$X$

Y

$Y$

\int \frac{f_{Y ∣ X} (y ∣ x)}{f_{X ∣ Y} (x ∣ y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$

— Dilip Sarwate

Gracias @Zen! y pueden determinar , y y también pueden determinar . (1) ¿Cuál proporciona más información, o ? (2) ¿Cuál proporciona información menos redundante / superpuesta con , o ? (3) De y , ¿uno de ellos ya proporciona la información del otro (lo cual dudo, porque eso implicaría que uno lleva al otro)? Supongo que es la "intersección" entre la información de y de

f_{Y}

$f_Y$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{X | Y}

$f_{X|Y}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$

f_{Y}

$f_Y$

f_{Y | X}

$f_{Y|X}$ , que junto con determina .

f_{X | Y}

$f_{X|Y}$

f_{X, Y}

$f_{X,Y}$

— Tim

Hola Tim. representa que la incertidumbre acerca de , mientras representa la incertidumbre acerca de , dado que se conoce el valor de . "¿Cuál contiene más información?" No es una pregunta fácil. Si y son compatibles (en el sentido de Arnold y Press), entonces determinan través de .

f_{Y}

$f_Y$

Y

$Y$

f_{Y ∣ X}

$f_{Y\mid X}$

Y

$Y$

X

$X$

f_{X ∣ Y}

$f_{X\mid Y}$

f_{Y ∣ X}

$f_{Y\mid X}$

f_{X, Y}

$f_{X,Y}$

(*)

$(*)$

— Zen

Actualmente estoy luchando con el mismo problema. Estoy un poco confundido por la necesidad de distribuciones condicionales compatibles, ya que estas nunca se mencionan en ninguna (al menos las que he leído) introducciones a Gibbs Sampling. ¿O la necesidad de distribuciones condicionales compatibles solo es válida si uno intenta recuperar formalmente las distribuciones conjuntas, por ejemplo, mediante (*). -> no se aproxima a la distribución conjunta de Gibbs Sampling?

— sklingel

En una configuración de muestreo de Gibbs regular aplicada a un problema estadístico, se supone que existe la distribución de probabilidad conjunta (posterior), por lo tanto, los condicionales completos derivados de esta distribución conjunta son compatibles. Fuera de este caso, el muestreo de Gibbs no tiene sentido.

— Xi'an