¿Cómo afecta la beta anterior a la posterior bajo una probabilidad binomial?

Tengo dos preguntas,

Pregunta 1: ¿Cómo puedo demostrar que la distribución posterior es una distribución beta si la probabilidad es binomial y la anterior es beta?

Pregunta 2: ¿Cómo afectan las elecciones los parámetros anteriores a los posteriores? ¿No deberían ser todos iguales?

¿Es posible responder estas preguntas en R?

Para responder a su primera pregunta, solo necesitamos usar el Teorema de Bayes para actualizar nuestra probabilidad binomial con la versión beta anterior. Para comprender mejor cómo hacer esto, primero observe el siguiente resultado

$$p(\theta|\mathbf{x})=\frac{p(\mathbf{x}|\theta)p(\theta)}{\int_{\Theta}p(\mathbf{x}|\theta)p(\theta)d\theta}\propto p(\mathbf{x}|\theta)p(\theta)$$ donde podemos hacer uso del resultado de proporcionalidad ya que la distribución beta es el conjugado anterior para la probabilidad binomial.

Ahora deja $x_i\sim\text{Binomial}(N_i,\theta)$ y $\theta\sim\text{Beta}(\alpha,\beta)$. Ahora podemos usar el Teorema de Bayes para calcular el posterior de la siguiente manera:

$$\begin{align} p(\theta|\mathbf{x})&\propto p(\mathbf{x}|\theta)p(\theta)\\ &\\ &\propto \binom{N}{x_i}\theta^{s}(1-\theta)^{N-s}\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto \theta^{s}(1-\theta)^{N-s}\theta^{\alpha-1}(1-\theta)^{\beta-1}\\ &\\ &\propto\theta^{\alpha+s-1}(1-\theta)^{\beta+N-s-1} \end{align}$$ donde y$s=\sum_{i=1}^nx_i$$N=\sum_{i=1}^nN_i$

Ahora, reconocemos el lado derecho proporcional de la ecuación como el núcleo de otra distribución beta con parámetros actualizados y

$$\alpha^*=\alpha+\sum_{i=1}^nx_i$$ $$\beta^*=\beta+\sum_{i=1}^nN_i-\sum_{i=1}^nx_i$$

Ahora, para la segunda parte de su problema, considere los siguientes gráficos de los posteriores dados distribuciones anteriores diferentes.

La gráfica anterior es de cinco distribuciones anteriores diferentes:

$$\begin{align*} \text{Prior }1&:\,\,\theta\sim\text{Beta}(.5,.5)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(5,1)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(1,3)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,2)\\ \text{Prior }1&:\,\,\theta\sim\text{Beta}(2,5) \end{align*}$$

Ahora, aunque la distribución posterior no parece cambiar mucho por la elección de previo en esta situación, este no es siempre el caso. Por ejemplo, si hubiéramos tomado una muestra de una distribución binomial (en el código) donde , veríamos que la distribución posterior cambia drásticamente por la elección de la distribución previa.$N=2$

Aquí está el Rcódigo utilizado para generar todo:

colors = c("red","blue","green","orange","purple")

n = 10
N = 10
theta = .2

x = rbinom(n,N,theta)
grid = seq(0,2,.01)


alpha = c(.5,5,1,2,2)
beta = c(.5,1,3,2,5)

plot(grid,grid,type="n",xlim=c(0,1),ylim=c(0,4),xlab="",ylab="Prior Density",
     main="Prior Distributions", las=1)
for(i in 1:length(alpha)){
    prior = dbeta(grid,alpha[i],beta[i])
    lines(grid,prior,col=colors[i],lwd=2)
}

legend("topleft", legend=c("Beta(0.5,0.5)", "Beta(5,1)", "Beta(1,3)", "Beta(2,2)", "Beta(2,5)"),
       lwd=rep(2,5), col=colors, bty="n", ncol=3)

for(i in 1:length(alpha)){
    dev.new()
    plot(grid,grid,,type="n",xlim=c(0,1),ylim=c(0,10),xlab="",ylab="Density",xaxs="i",yaxs="i",
    main="Prior and Posterior Distribution")

    alpha.star = alpha[i] + sum(x)
    beta.star = beta[i] + n*N - sum(x)
    prior = dbeta(grid,alpha[i],beta[i])
    post = dbeta(grid,alpha.star,beta.star)

    lines(grid,post,lwd=2)
    lines(grid,prior,col=colors[i],lwd=2)
    legend("topright",c("Prior","Posterior"),col=c(colors[i],"black"),lwd=2)

}