Student t como mezcla de gaussiano

23

Usando la distribución t de Student con grados de libertad, el parámetro de ubicación parámetros de escala tienen densidad $k > 0$ $l$ $s$

\frac{Γ (\frac{k + 1}{2})}{Γ (\frac{k}{2} \sqrt{k π s^{2}})} {1 + k^{- 1} (\frac{x - l}{s})}^{- (k + 1) / 2},

$\frac{\Gamma \left(\frac{k+1}{2}\right)}{\Gamma\left(\frac{k}{2}\sqrt{k \pi s^2}\right)} \left\{ 1 + k^{-1}\left( \frac{x-l}{s}\right)\right\}^{-(k+1)/2},$

cómo mostrar que la distribución Student se puede escribir como una mezcla de distribuciones gaussianas dejando , , e integrando la densidad conjunta para obtener la densidad marginal ? ¿Cuáles son los parámetros de la distribución resultante , como funciones de ? $t$ $X\sim N(\mu,\sigma^2)$ $\tau = 1/\sigma^2\sim\Gamma(\alpha,\beta)$ $f(x,\tau|\mu)$ $f(x|\mu)$ $t$ $\mu,\alpha,\beta$

Me perdí en el cálculo al integrar la densidad condicional conjunta con la distribución Gamma.

distributions mixture

— Salih Ucan
fuente

31

El PDF de una distribución normal es

f_{μ, σ} (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}} d x

$f_{\mu, \sigma}(x) = \frac{1}{\sqrt{2 \pi} \sigma} e^{-\frac{(x-\mu )^2}{2 \sigma ^2}}dx$

pero en términos de es $\tau = 1/\sigma^2$

g_{μ, τ} (x) = \frac{\sqrt{τ}}{\sqrt{2 π}} e^{- \frac{τ (x - μ)^{2}}{2}} d x .

$g_{\mu, \tau}(x) = \frac{\sqrt{\tau}}{\sqrt{2 \pi}} e^{-\frac{\tau(x-\mu )^2}{2 }}dx.$

El PDF de una distribución Gamma es

h_{α, β} (τ) = \frac{1}{Γ (α)} e^{- \frac{τ}{β}} τ^{- 1 + α} β^{- α} d τ .

$h_{\alpha, \beta}(\tau) = \frac{1}{\Gamma(\alpha)}e^{-\frac{\tau}{\beta }} \tau^{-1+\alpha } \beta ^{-\alpha }d\tau.$

Su producto, ligeramente simplificado con álgebra fácil, es por lo tanto

f_{μ, α, β} (x, τ) = \frac{1}{β^{α} Γ (α) \sqrt{2 π}} e^{- τ (\frac{(x - μ)^{2}}{2} + \frac{1}{β})} τ^{- 1 / 2 + α} d τ d x .

$f_{\mu, \alpha, \beta}(x,\tau) =\frac{1}{\beta^\alpha\Gamma(\alpha)\sqrt{2 \pi}} e^{-\tau\left(\frac{(x-\mu )^2}{2 } + \frac{1}{\beta}\right)} \tau^{-1/2+\alpha}d\tau dx.$

Su parte interna evidentemente tiene la forma , por lo que es un múltiplo de una función Gamma cuando se integra sobre el rango completo a . Esa integral, por lo tanto, es inmediata (obtenida al conocer que la integral de una distribución Gamma es la unidad), dando la distribución marginal $\exp(-\text{constant}_1 \times \tau) \times \tau^{\text{constant}_2}d\tau$ $\tau=0$ $\tau=\infty$

f_{μ, α, β} (x) = \frac{\sqrt{β} Γ (α + \frac{1}{2})}{\sqrt{2 π} Γ (α)} \frac{1}{{(\frac{β}{2} (x - μ)^{2} + 1)}^{α + \frac{1}{2}}} .

$f_{\mu, \alpha, \beta}(x) = \frac{\sqrt{\beta } \Gamma \left(\alpha +\frac{1}{2}\right) }{\sqrt{2\pi } \Gamma (\alpha )}\frac{1}{\left(\frac{\beta}{2} (x-\mu )^2+1\right)^{\alpha +\frac{1}{2}}}.$

Intentar hacer coincidir el patrón proporcionado para la distribución muestra que hay un error en la pregunta: el PDF para la distribución t de Student en realidad es proporcional a $t$

\frac{1}{\sqrt{k} s} {(\frac{1}{1 + k^{- 1} {(\frac{x - l}{s})}^{2}})}^{\frac{k + 1}{2}}

$\frac{1}{\sqrt{k} s }\left(\frac{1}{1+k^{-1}\left(\frac{x-l}{s}\right)^2}\right)^{\frac{k+1}{2}}$

(el poder de es , no ). La coincidencia de los términos indica , y . $(x-l)/s$ $2$ $1$ $k = 2 \alpha$ $l=\mu$ $s = 1/\sqrt{\alpha\beta}$

Tenga en cuenta que no se necesitaba cálculo para esta derivación: todo era cuestión de buscar las fórmulas de los PDF Normal y Gamma, realizar algunas manipulaciones algebraicas triviales que implican productos y poderes, y patrones coincidentes en expresiones algebraicas (en ese orden).

— whuber
fuente

10

Inspirado por esta respuesta, hice una animación de la distribución t como una mezcla de distribuciones normales. Está disponible aquí: sumsar.net/blog/2013/12/t-as-a-mixture-of-normals

— Rasmus Bååth

1

@whuber: Técnicamente, para ese tipo de coincidencia siempre hay un uso implícito del cálculo en su reconocimiento de que puede integrar la densidad gamma utilizando su forma integral conocida. (Este es el equivalente estadístico de ocultar el brócoli mezclándolo con la carne y las papas). ¡Una forma inteligente de ocultar el cálculo!

— Vuelva a instalar Mónica

1

No conozco los pasos del cálculo, pero sí sé los resultados de algún libro (no recuerdo cuál ...). Por lo general, lo tengo en cuenta directamente ... :-) La distribución Student con grados de libertad puede considerarse como una distribución Normal con la mezcla de varianza , donde sigue una distribución gamma inversa. Más precisamente, ~ , = $t$ $k$ $Y$ $Y$ $X$ $t(k)$ $X$ *, donde~,es normal normal rv. Espero que esto pueda ayudarte en algún sentido. $\sqrt Y$ $\Phi$ $Y$ $IG(k/2,k/2)$ $\Phi$

— Jingjings
fuente

0

Para simplificar, suponemos que significa $0$ . Usando la representación, mostramos el resultado para grados enteros de libertad.

\sqrt{1 / τ} X = Y

$\sqrt{1/\tau} X =Y$ es equivalente a una mezcla gaussiana con esa anterior: condicionada en

τ

$\tau$ ,

Y

$Y$ es gaussiana con precisión

τ

$\tau$ , y la anterior

τ

$\tau$ es la deseada. Entonces queda por demostrar que

\sqrt{1 / τ} X

$\sqrt{1/\tau} X$ es una distribución t. Podemos escribir

τ \sim Γ (α, β) \sim \frac{β}{2} Γ (α, 2) \sim \frac{β}{2} χ^{2} (2 α)

$\tau \sim \Gamma(\alpha, \beta) \sim \frac{\beta}{2} \Gamma(\alpha, 2) \sim \frac{\beta}{2} \chi^2(2\alpha)$ usando un resultado bien conocido sobre gammas y Chi-cuadrados (descomponga un gamma como una suma de exponenciales y combine los exponenciales en normales a Chi-cuadrados) Esto a su vez implica que

Y \sim X \frac{1}{\sqrt{(β / 2) χ^{2} (2 α)}}

$Y \sim X \frac{1}{\sqrt{(\beta/2) \chi^2(2\alpha)} }$

= \frac{X \sqrt{α β}}{\sqrt{χ_{2 α}^{2} / (2 α)}}

$= \frac{ X \sqrt{\alpha \beta} }{\sqrt{ \chi^2_{2\alpha}/(2\alpha)}}$ que es una t escalada con

k = 2 α

$k=2\alpha$ y

s = 1 / \sqrt{α β}

$s=1/\sqrt{\alpha \beta}$ por varianza de t. Podemos volver a centrar nuestra representación en

μ

$\mu$ y

l

$l$ seguiríamos.

— Romil Sirohi
fuente