Comprender las distribuciones predictivas bayesianas

9

Estoy tomando un curso de Introducción a Bayes y tengo dificultades para comprender las distribuciones predictivas. Entiendo por qué son útiles y estoy familiarizado con la definición, pero hay algunas cosas que no entiendo del todo.

1) Cómo obtener la distribución predictiva correcta para un vector de nuevas observaciones

Supongamos que hemos construido un modelo de muestreo $p(y_i | \theta)$ para los datos y un $p(\theta)$ . Suponga que las observaciones $y_i$ son condicionalmente independientes dado $\theta$ .

Hemos observado algunos datos $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ , y actualizamos nuestra $p(\theta)$ a la posterior $p(\theta | \mathcal{D})$ .

Si quisiéramos predecir un vector de nuevas observaciones $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ , creo que deberíamos intentar obtener la predicción posterior utilizando esta fórmula

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ que no es igual a

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ entonces las observaciones predichas no son independientes, ¿verdad?

Di que Beta ( ) y Binomial ( ) para un fijo . En este caso, si quisiera simular 6 nuevas , si entiendo esto correctamente, sería un error simular 6 sorteos independientemente de la distribución Beta-Binomial que corresponde al predictivo posterior para una sola observación. ¿Es esto correcto? No sé cómo interpretar que las observaciones no son independientes marginalmente, y no estoy seguro de entender esto correctamente. $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

Simulando a partir de predicciones posteriores

Muchas veces, cuando simulamos datos del predictivo posterior, seguimos este esquema:

Para de 1 a : $b$ $B$

1) Muestra de . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Luego simule nuevos datos de . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

No sé cómo demostrar que este esquema funciona, aunque parece intuitivo. Además, ¿esto tiene un nombre? Traté de buscar una justificación y probé diferentes nombres, pero no tuve suerte.

¡Gracias!

bayesian prediction

— Fred L.
fuente

Hice una pregunta similar en stats.stackexchange.com/questions/72570/… pero parece que la suya ha recibido más votos hasta ahora.

— John

4

Supongamos que son condicionalmente independientes dado que . Entonces, $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

en el que la primera igualdad se deriva de la ley de probabilidad total, la segunda se desprende de la regla del producto y la tercera de la independencia condicional supuesta: dado el valor de

, no necesitamos los valores de

para determinar la distribución de

.

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

El esquema de simulación es correcto: para , dibuje $i=1,\dots,N$ $\theta^{(i)}$ de la distribución de , luego extraiga de La distribución de . Esto te da una muestra $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ de la distribución de. $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— zen
fuente

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

2

Trataré de repasar la intuición detrás de generar la distribución predictiva posterior paso a paso.

$y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

$\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

$\Theta$ $\theta$

$p(\tilde y|y)$

para s = 1,2, ..., S do

$\theta^{(s)}$ $p(\theta|y)$

$\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

$p(\theta|y)$

$p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ . De ello se desprende que los valores muestreados $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— baruuum
fuente

1

$\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
fuente