¿Cómo muestrear rápidamente X si exp (X) ~ Gamma?

Tengo un problema de muestreo simple, donde mi bucle interno se ve así:

v = sample_gamma(k, a)

donde sample_gammamuestras de la distribución Gamma para formar una muestra de Dirichlet.

Funciona bien, pero para algunos valores de k / a, algunos de los flujos de cálculo aguas abajo.

Lo adapté para usar variables de espacio de registro:

v = log(sample_gamma(k, a))

Después de adaptar todo el resto del programa, funciona correctamente (al menos me da los mismos resultados exactos en casos de prueba). Sin embargo, es más lento que antes.

¿Hay alguna forma de muestrear directamente sin usar funciones lentas como ? Intenté buscar en Google para esto, pero ni siquiera sé si esta distribución tiene un nombre común (log-gamma?). $X, \exp(X) \sim \text{Gamma}$ $\log()$

sampling gamma-distribution

— luispedro
fuente

Todo lo que necesita hacer es dividir cada variante gamma por su suma. ¿Cómo, entonces, ocurre el desbordamiento? ¿Y cómo tomar el logaritmo resuelve este problema (no se puede calcular la suma sin exponer de nuevo de todos modos)?

— whuber

@whuber En el espacio de registro, calcula la suma y luego la resta de cada elemento. Entonces, esto evita el primer punto de desbordamiento. Hay un poco de procesamiento adicional cuando estos dirichlets sirven como componentes de mezcla y se multiplican por pequeños números nuevamente.

— luispedro

Agregar los registros es matemáticamente incorrecto: corresponde a multiplicar los gammas en lugar de agregarlos. Sí, puede obtener resultados de trabajo, ¡pero definitivamente no tendrán una distribución Dirichlet! Nuevamente, ¿cuál es exactamente la naturaleza del flujo inferior original y qué cálculos está haciendo cuando sucede? ¿Cuáles son los valores reales con los que está trabajando?

— whuber

@whuber Podría haber simplificado demasiado mi descripción. Yo hago todo i {t = gamma (a, b); suma + = t; d [i] = log (t)}; logsum = log (suma); forall i {d [i] - = logsum; }. Anteriormente, esto se desbordaba si a era muy pequeño.

— luispedro

Lo tengo: para

cerca de 0 tendrás problemas sin importar qué. Problema interesante!

α

$\alpha$

— whuber

Respuestas:

Considere una pequeña forma parámetro cerca de 0, tal como . En el rango entre 0 y , es aproximadamente , por lo que el Gamma pdf es aproximadamente . Esto se puede integrar a un CDF aproximado, $\alpha$ $\alpha = 1/100$ $\alpha$ $e^{-\alpha}$ $1$ $x^{\alpha-1}dx / \Gamma(\alpha)$ . Al invertirlo, vemos unapotencia: un gran exponente. Paraesto causa alguna posibilidad de underflow (un valor de doble precisión de menos de, más o menos). Aquí hay una gráfica de la posibilidad de obtener un flujo inferior en función del logaritmo de base diez de: $F_\alpha(x) = \frac{x^\alpha}{\alpha \Gamma(\alpha)}$ $1/\alpha$ $\alpha = 1/100$ $10^{-300}$ $\alpha$

ingrese la descripción de la imagen aquí

Una solución es explotar esta aproximación para generar variables log (Gamma): en efecto, intente generar una variante Gamma y, si es demasiado pequeña, generar su logaritmo a partir de esta distribución de potencia aproximada (como se muestra a continuación). (Haga esto repetidamente hasta que el registro esté dentro del rango de flujo inferior, de modo que sea un sustituto válido para la variante de flujo inferior original). Para el cálculo de Dirichlet, reste el máximo de todos los logaritmos de cada uno de los valores de registro: esto reescala implícitamente todos Gamma varía para que no afecte los valores de Dirichlet. Trate cualquier registro resultante que sea demasiado pequeño (digamos, menor que -100) como el registro de un cero verdadero. Exponga los otros registros. Ahora puede continuar sin desbordamiento.

Esto llevará más tiempo que antes, ¡pero al menos funcionará!

$\alpha$ $C = \log(\Gamma(\alpha)) + \log(\alpha)$ $\alpha$ $C$

Debido a que el parámetro de escala simplemente reescala la variante, no hay problema para acomodarla en estos procedimientos. Ni siquiera lo necesita si todos los parámetros de escala son iguales.

Editar

$1/\alpha$ $B(\alpha)$ $\Gamma(\alpha+1)$ $\left(\alpha x^{\alpha-1}\right) \left(y^{\alpha}e^{-y}dy/\Gamma(\alpha+1)\right)$ $z = xy$ $y \to z/x$ $x$ $x$ $z$ $\infty$ $0 \le y \le 1$

pdf (z) = \frac{α}{Γ (α + 1)} \int_{z}^{\infty} (x^{α} / x) e^{- x} (z / x)^{α - 1} d x d z = \frac{1}{Γ (α)} z^{α - 1} e^{- z} d z,

$\text{pdf}(z)=\frac{\alpha}{\Gamma(\alpha+1)}\int_z^{\infty}{\left(x^\alpha / x\right) e^{-x} (z/x)^{\alpha-1} dx} dz = \frac{1}{\Gamma(\alpha)}z^{\alpha-1}e^{-z}dz,$

$\Gamma(\alpha)$

$0 \lt \alpha \lt 1$ $\Gamma(\alpha+1)$ $1/\alpha$ $\Gamma(\alpha)$

— whuber
fuente

\frac{Γ (α)}{Γ (α) + Γ (1)} \sim B e t a (α, 1)

$\frac{\Gamma(\alpha)}{\Gamma(\alpha)+\Gamma(1)}\sim Beta(\alpha,1)$

Γ (α) + Γ (1) \sim Γ (α + 1)

$\Gamma(\alpha)+\Gamma(1)\sim \Gamma(\alpha+1)$

α \approx 0

$\alpha\approx 0$

y \sim e x p o (1)

$y\sim expo(1)$

- \log (u)

$-\log(u)$

Γ (α + 1)

$\Gamma(\alpha+1)$

ra $\alpha$ b $\beta$

  if (a < 1)
    {
      double u = gsl_rng_uniform_pos (r);
      return gsl_ran_gamma (r, 1.0 + a, b) * pow (u, 1.0 / a);
   }

gsl_ran_gammagsl_rng_uniform_pos $(0,1)$ _pos

Por lo tanto, puedo tomar el registro de la última expresión y usar

return log(gsl_ran_gamma(r, 1.0 + a, b)) + log(u)/a;

log()pow() $1/a$ $1/a$

— luispedro
fuente

α

$\alpha$

Edité mi respuesta para incluir más detalles ahora.

— luispedro

Gracias: ¿pero qué es "r"? (Tenga en cuenta que la recursividad está limitada: como máximo se realizará una llamada recursiva, porque a> 0 implica 1.0 + a> 1.)

— whuber

r es el generador de números aleatorios (de donde obtiene los números aleatorios).

— luispedro

Γ (α + 1)

$\Gamma(\alpha+1)$

B (α, 1)

$B(\alpha,1)$

Γ (α)

$\Gamma(\alpha)$