¿Cómo se relaciona la distribución gamma inversa con y ?

Dado que la estimación posterior de de una probabilidad normal y una gamma inversa antes de es: $\sigma'^{2}$ $\sigma^2$

σ^{' 2} \sim IG (α + \frac{n}{2}, β + \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left(\alpha + \frac{n}{2}, \beta +\frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

que es equivalente a

σ^{' 2} \sim IG (\frac{n}{2}, \frac{n σ^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{n\sigma^2}{2}\right)$

dado que un débil en elimina y de la ecuación 1: $\textrm{IG}(\alpha, \beta)$ $\sigma^2$ $\alpha$ $\beta$

σ^{' 2} \sim IG (\frac{n}{2}, \frac{\sum_{i = 1}^{n} (y_{i} - μ)^{2}}{2})

$\sigma'^{2}\sim\textrm{IG}\left( \frac{n}{2}, \frac{\sum_{i=1}^n{(y_i-\mu)^2}}{2}\right)$

Es evidente que la estimación posterior de es una función del tamaño de la muestra y la suma de los cuadrados de la probabilidad. Pero ¿qué significa esto? Hay una derivación en Wikipedia que no sigo del todo. $\sigma^2$

Tengo las siguientes preguntas

¿Puedo llegar a esta segunda ecuación sin invocar la regla de Bayes? Tengo curiosidad por saber si hay algo inherente en los parámetros de un IG que esté relacionado con la media y la varianza independientemente de la probabilidad normal.
¿Puedo usar el tamaño de la muestra y la desviación estándar de un estudio anterior para estimar un previo informado en y luego actualizar el anterior con nuevos datos? Esto parece sencillo, pero no puedo encontrar ningún ejemplo de ello, ni la razón por la cual este sería un enfoque legítimo, aparte de lo que se puede ver en la parte posterior. $\sigma^2$
¿Existe un libro de texto de estadística o probabilidad popular que pueda consultar para obtener más explicaciones?

bayesian prior conjugate-prior

— Abe
fuente

¿No te refieres a una probabilidad de gamma inversa y una gamma inversa anterior?

— Neil G

En primer lugar, veo en su pregunta varios malentendidos: del teorema de Bayes no se obtiene una estimación posterior, sino una distribución posterior completa. El segundo punto es que esta distribución posterior no depende de "la suma de los cuadrados de la probabilidad". Simplemente depende del tamaño de su muestra (es decir, n) y los valores de la muestra, lo cual es perfectamente natural y razonable. Estas dependencias afectan sus estimaciones posteriores de media, varianza, etc. Por ejemplo, su parámetro de media de varianza posterior es igual a

\frac{1}{n - 2} \sum {(y_{i} - μ)}^{2}

$\frac{1}{n-2}\sum \left ( y_{i}-\mu \right )^{2}$

— Tomás

@thomas por estimación, me refería a la estimación de la distribución posterior ;. ¿No es el término suma de cuadrados en la parte posterior el mismo cálculo exacto que el término ss en la probabilidad normal?

— Abe

@Abe Recientemente hice (y respondí) una pregunta relacionada con su pregunta nr. 2. Se le da a la SD y a la SD de la SD cómo calcular la gamma correspondiente antes de la precisión de una distribución normal: la pregunta está aquí: stats.stackexchange.com/questions/41187/…

— Rasmus Bååth

Respuestas:

Creo que es más correcto hablar de la distribución posterior de su parámetro lugar de su estimación posterior. Para mayor claridad de las anotaciones, dejaré el primer en en lo que sigue. $\sigma'^{2}$ $\sigma'^{2}$

Supongamos que se distribuye como , - dejo caer por ahora para hacer un ejemplo heurístico - y se distribuye como y es independiente de . $X$ $\mathcal{N}(0, \sigma^2)$ $\mu$ $1/\sigma^2 = \sigma^{-2}$ $\Gamma(\alpha, \beta)$ $X$

El pdf de dado es gaussiano, es decir $X$ $\sigma^{-2}$

f (x | σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) .

$f(x|\sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right).$

El pdf conjunto de , se obtiene multiplicando por - el pdf de . Esto sale como $(X, \sigma^{-2})$ $f(x,\sigma^{-2})$ $f(x|\sigma^{-2})$ $g(\sigma^{-2})$ $\sigma^{-2}$

f (x, σ^{- 2}) = \frac{1}{\sqrt{2 π σ^{2}}} \exp (- \frac{x^{2}}{2 σ^{2}}) \frac{β^{α}}{Γ (α)} \exp (- \frac{β}{σ^{2}}) \frac{1}{σ^{2 (α - 1)}} .

$f(x, \sigma^{-2}) = \frac{1}{\sqrt{2\pi \sigma^2}} \exp\left(-\frac{x^2}{2\sigma^2}\right) \frac{\beta^{\alpha}}{\Gamma(\alpha)}\exp \left(-\frac{\beta}{ \sigma^2}\right)\frac{1}{\sigma^{2(\alpha-1)}}.$

Podemos agrupar términos similares y reescribir esto de la siguiente manera

f (x, σ^{- 2}) \propto σ^{- 2 (α - 1 / 2)} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(x, \sigma^{-2}) \propto \sigma^{-2(\alpha-1/2)} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

La distribución posterior de es, por definición, el pdf de dado , que es según la fórmula de Bayes . Para responder a su pregunta 1. No creo que haya una manera de expresar desde sin usar la fórmula de Bayes. Con el cálculo, reconocemos en la fórmula anterior algo que parece una función , por lo que integrar para obtener es bastante fácil. $\sigma^{-2}$ $\sigma^{-2}$ $x$ $f(x, \sigma^{-2}) / f(x)$ $f(\sigma^{-2}|x)$ $f(x, \sigma^{-2})$ $\Gamma$ $\sigma^{-2}$ $f(x)$

f (x) \propto (β + x^{2} / 2)^{- (α + 1 / 2)},

$f(x) \propto (\beta + x^2/2)^{-(\alpha+1/2)},$

entonces al dividir obtenemos

f (σ^{- 2} | x) \propto (β + x^{2} / 2) {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) \propto {(σ^{- 2} (β + x^{2} / 2))}^{α - 1 / 2} \exp (- σ^{- 2} (β + x^{2} / 2)) .

$f(\sigma^{-2}|x) \propto \left(\beta + x^2/2 \right) \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right) \\ \propto \left( \sigma^{-2} \left(\beta + x^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma^{-2} \left(\beta + x^2/2 \right)\right).$

Y aquí, en la última fórmula, reconocemos una distribución con parámetros . $\Gamma$ $(\alpha + 1/2, \beta + x^2/2)$

Si tiene una muestra IID , integrando todos los , obtendrá y luego como producto de siguientes términos: $((x_1, \sigma_1^{-2}), ..., (x_n, \sigma^{-2}_n))$ $\sigma_i^{-2}$ $f(x_1, ..., x_n)$ $f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n)$

f (σ_{1}^{- 2}, . . ., σ_{n}^{- 2} | x_{1}, . . ., x_{n}) \propto \prod_{i = 1}^{n} {(σ_{i}^{- 2} (β + x_{i}^{2} / 2))}^{α - 1 / 2} \exp (- σ_{i}^{- 2} (β + x_{i}^{2} / 2)),

$f(\sigma_1^{-2}, ..., \sigma_n^{-2}|x_1, ..., x_n) \propto \prod_{i=1}^n \left( \sigma_i^{-2} \left(\beta + x_i^2/2 \right) \right)^{\alpha-1/2} \exp\left(-\sigma_i^{-2} \left(\beta + x_i^2/2 \right)\right),$

Cuál es un producto de Variables . Y estamos atrapados aquí debido a la multiplicidad de . Además, la distribución de la media de esas variables independientes no es fácil de calcular. $\Gamma$ $\sigma_i^{-2}$ $\Gamma$

Sin embargo, si suponemos que todas las observaciones comparten el mismo valor de (que parece ser su caso), es decir, que el valor de se extrajo solo una vez de un y que todas las se dibujaron con ese valor de , obtenemos $x_i$ $\sigma^{-2}$ $\sigma^{-2}$ $\Gamma(\alpha, \beta)$ $x_i$ $\sigma^{-2}$

f (x_{1}, . . ., x_{n}, σ^{- 2}) \propto σ^{- 2 (α + n / 2)} \exp (- σ^{- 2} (β + \frac{1}{2} \sum_{i = 1}^{n} x_{i}^{2})),

$f(x_1, ..., x_n, \sigma^{-2}) \propto \sigma^{-2 (\alpha + n/2)} \exp\left(-\sigma^{-2} \left(\beta + \frac{1}{2} \sum_{i=1}^n x_i^2\right) \right),$

de donde derivamos la distribución posterior de como su ecuación 1 aplicando la fórmula de Bayes. $\sigma^{-2}$

La distribución posterior de es una que depende de y , sus parámetros anteriores, el tamaño de la muestra la suma de cuadrados observada. La media anterior de es y la varianza es , por lo que si y el valor es muy pequeño, el anterior lleva muy poca información sobre porque la varianza se vuelve enorme. Como los valores son pequeños, puede eliminarlos de las ecuaciones anteriores y terminar con su ecuación 3. $\sigma^{-2}$ $\Gamma$ $\alpha$ $\beta$ $n$ $\sigma^{-2}$ $\alpha/\beta$ $\alpha/\beta^2$ $\alpha = \beta$ $\sigma^{-2}$

En ese caso, la distribución posterior se vuelve independiente de la anterior. Esta fórmula dice que el inverso de la varianza tiene una distribución que depende solo del tamaño de la muestra y la suma de los cuadrados. Puede mostrar que para las variables gaussianas de media conocida, , el estimador de la varianza, tiene la misma distribución, excepto que es una función del tamaño de la muestra y el valor verdadero del parter . En el caso bayesiano, esta es la distribución del parámetro, en el caso frecuentista, es la distribución del estimador. $\Gamma$ $S^2$ $\sigma^2$

Con respecto a su pregunta 2., por supuesto, puede usar los valores obtenidos en un experimento anterior como sus antecedentes. Debido a que establecimos un paralelo entre la interpretación bayesiana y frecuentista en lo anterior, podemos elaborar y decir que es como calcular una variación de un tamaño de muestra pequeño y luego recopilar más puntos de datos: actualizaría su estimación de la variación en lugar de tirarla a la basura Los primeros puntos de datos.

Con respecto a su pregunta 3. Me gusta la Introducción a las estadísticas matemáticas de Hogg, McKean y Craig, que generalmente brinda detalles sobre cómo derivar estas ecuaciones.

— gui11aume
fuente

Para la pregunta 1, la segunda ecuación se deriva de la regla de Bayes como usted señala, y no veo cómo evitar eso.

Para la pregunta 2, sí, puedes hacer esto. Simplemente use un previo de la misma forma que su segunda ecuación.

Para la pregunta 3, buscaría algo sobre familias exponenciales. Quizás alguien recomendará un buen recurso.

— Neil G
fuente