Alisado de Laplace y Dirichlet previo

11

En el artículo de Wikipedia sobre el suavizado de Laplace (o suavizado aditivo), se dice que desde un punto de vista bayesiano,

esto corresponde al valor esperado de la distribución posterior, utilizando una distribución de Dirichlet simétrica con el parámetro como previo. $\alpha$

Estoy desconcertado acerca de cómo eso es realmente cierto. ¿Podría alguien ayudarme a entender cómo esas dos cosas son equivalentes?

¡Gracias!

— DanielX2010
fuente

10

Por supuesto. Esta es esencialmente la observación de que la distribución de Dirichlet es un conjugado previo para la distribución multinomial. Esto significa que tienen la misma forma funcional. El artículo lo menciona, pero solo enfatizaré que esto se desprende del modelo de muestreo multinomial. Entonces, poniéndolo en práctica ...

$x$ $K$ $N = \sum_{i=1}^K x_i$ $x$ $\pi$ $\mathrm{Dir}(\alpha)$ $K$

$\pi$ $\alpha$ $x$

p (π | x, α) = p (x | π) p (π | α)

$p(\pi | x, \alpha) = p(x | \pi) p(\pi|\alpha)$

$p(x|\pi)$

p (x | π) = \frac{N!}{x_{1}! \dots x_{k}!} π_{1}^{x_{1}} \dots π_{k}^{x_{k}}

$p(x|\pi) = \frac{N!}{x_1!\cdots x_k!} \pi_1^{x_1} \cdots \pi_k^{x_k}$

y

p (π | α) = \frac{1}{B (α)} \prod_{i = 1}^{K} π_{i}^{α - 1}

$p(\pi|\alpha) = \frac{1}{\mathrm{B}(\alpha)} \prod_{i=1}^K \pi_i^{\alpha - 1}$

$\mathrm{B}(\alpha) = \frac{\Gamma(\alpha)^K}{\Gamma(K\alpha)}$

p (π | α, x) = p (x | π) p (π | α) \propto \prod_{i = 1}^{K} π_{i}^{x_{i} + α - 1} .

$p(\pi|\alpha,x) = p(x | \pi) p(\pi|\alpha) \propto \prod_{i=1}^K \pi_i^{x_i + \alpha - 1}.$

En otras palabras, el posterior también es Dirichlet. La pregunta era sobre la media posterior. Como el posterior es Dirichlet, podemos aplicar la fórmula para la media de un Dirichlet para encontrar que,

E [π_{i} | α, x] = \frac{x_{i} + α}{N + K α} .

$E[\pi_i | \alpha, x] = \frac{x_i + \alpha}{N + K\alpha}.$

¡Espero que esto ayude!

— Sí
fuente

p (π | α, x) = p (x | π) p (π | α) / p (x | α),

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)/p(x | \alpha),$

p (π | α, x) = p (x | π) p (π | α) ?

$p(\pi | \alpha, x) = p(x | \pi)p(\pi | \alpha)?$

π

$\pi$ , pero escribir una igualdad no es cierto, creo.

— michal

\frac{α + n_{s u c c e s s}}{α + β + n_{s u c c e s s} + n_{f a i l u r e s}}

$\frac{\alpha + n_{success}}{\alpha + \beta + n_{success} + n_{failures}}$

\frac{α + n_{s u c c e s s} - 1}{α + β + n_{s u c c e s s} + n_{f a i l u r e s} - 2}

$\frac{\alpha + n_{success} - 1}{\alpha + \beta + n_{success} + n_{failures} - 2}$

α = β = 1

$\alpha = \beta = 1$

0

Como nota al margen, también me gustaría agregar otro punto a la derivación anterior, que en realidad no se trata de la pregunta principal. Sin embargo, hablando de los antecedentes de Dirichlet sobre distribución multinomial, pensé que valía la pena mencionar que cuál sería la forma de función de probabilidad si vamos a tomar las probabilidades como variables molestas.

$p(\pi | \alpha, x)$ $\prod_{i=1}^{K} \, \pi_i^{x_i+\alpha-1}$ $p(x|\alpha)$

p (x | α) = \int \prod_{i = 1}^{K} p (x | π_{i}, α) p (π | α) d π_{1} d π_{2} . . . d π_{K}

$\begin{equation} p(x | \alpha) = \int \prod_{i=1}^{K}p(x | \pi_i, \alpha)p(\pi|\alpha) \mathrm{d} \pi_1 \mathrm{d} \pi_2 ...\mathrm{d} \pi_K \end{equation}$

p (x | α) = \frac{Γ (K α)}{Γ (N + K α)} \prod_{i = 1}^{K} \frac{Γ (x_{i} + α)}{Γ (α)}

$\begin{equation} p(x|\alpha) = \frac{\Gamma(K\alpha)}{\Gamma(N + K\alpha)} \prod_{i=1}^{K} \frac{\Gamma(x_i + \alpha)}{\Gamma(\alpha)} \end{equation}$

$N$

— omidi
fuente