¿Tomando muestras de una mezcla finita de distribuciones normales?


10

θ θ Pr ( θ | datos ) i i { w i } θ N ( μ i , σ 2 )

Pr(θ|data)=i=1kwiN(μi,σ2).
θθPr(θEl |datos)yoyo{wyo}θnorte(μyo,σ2). ¿Existe una manera eficiente de extraer muestras de una parte posterior de esta forma?

¿Has probado el método de selección y lanzamiento? La selección se puede hacer razonablemente rápido de O (k) ir pasos.
dmckee --- ex-gatito moderador

1
Si la solución de Barron realmente no es correcta, y de hecho se refiere a un "modelo de mezcla", ¿podría usar ese término?
Neil G

1
Neil G: No soy un estadístico de oficio, más bien un físico que a veces necesita hacer uso de las estadísticas. Como tal, no sabía el término apropiado para describir lo que necesitaba. Sin embargo, puedo continuar y editar la pregunta ahora, para dejar más claro que los PDF se están sumando y no los RV.
Chris Granade

1
@ ChrisGranade: No estaba tratando de desanimarte. Solo quería asegurarme de que eso era lo que querías decir y sugerir la edición.
Neil G

1
¿Por qué no es práctico elegir función de los pesos y una muestra de la distribución uniforme en , luego la muestra ? Esto es solo moderadamente más costoso que muestrear una única distribución normal, el costo es independiente del número de distribuciones mixtas y no depende de que esas distribuciones sean normales. { w i } [ 0 , 1 ] N ( μ i , σ 2 ) kyo{wyo}[0 0,1]norte(μyo,σ2)k
Jed Brown

Respuestas:


6

En principio, se podría preseleccionar el número de muestras que se extraerán de cada subdistribución, luego visitar cada subdistribución solo una vez y extraer más que el número de puntos.

Es decir

  1. Encuentre el conjunto aleatorio tal que y respetando los pesos.<norte1,norte2,...,nortek>norte=yo=1knorteyo

    Creo que usted hace esto dibujando una distribución de Poisson, una distribución multinomial (vea los comentarios) de la media para cada subdistribución y luego normalizando la suma a .wyonortenorte

    El trabajo aquí esO(k)O(norte)

  2. Entonces hazlo

    for (i=1; i<=k; ++i)
       for (j=1; j<=n[i]; ++j)
          theta ~ N(mu[i],sigma[i])
    

    El trabajo aquí esO(norte)

Aunque esto significa que no obtienes el orden aleatorio. Si se requiere un orden aleatorio, debe barajar los sorteos (también big ).O(norte)

Parece que el primer paso es dominante en el tiempo de ejecución y del mismo orden que el algoritmo ingenuo, pero si está seguro de que todos podría aproximar las distribuciones de Poisson con distribuciones normales y acelerar el primer paso.wyonorte1


La distribución de no es una distribución de Poisson si n es fija, sino una distribución binomial. norteyonorte
Frédéric Grosshans

@ FrédéricGrosshans Uhm ... aquí es donde admito mi angustiante debilidad en la probabilidad. Mirando creo que puede que tengas razón. No tengo un enlace para lanzar distribuciones binomiales arbitrarias, pero wikipedia tiene algunas referencias . También hay una relación entre Poisson y Binomial que voy a afirmar que fue responsable de mi incertidumbre. Sí, ese es el boleto.
dmckee --- ex-gatito moderador

1
@dmckee: Buena respuesta para dibujar a partir de un modelo mixto, excepto que debería ser una distribución multinomial en lugar de una distribución de Poisson en el paso 1.
Neil G

3

Nota: La versión original de esta pregunta se refería a una "suma ponderada de distribuciones normales" para la cual la siguiente respuesta podría ser útil. Sin embargo, después de un buen debate sobre esta respuesta, la respuesta de @Geoff, y sobre la pregunta en sí, quedó claro que la pregunta era realmente sobre el muestreo de una "mezcla de distribuciones normales" a la que esta respuesta no es aplicable.


La suma de las distribuciones normales es una distribución normal, por lo que puede calcular los parámetros de esta distribución única y luego simplemente tomar muestras de eso. Si llamamos a esa distribución entonces,norte(μstumetro,σstumetro2)

μstumetro=yo=1kwyoμyo

σstumetro2=yo=1kwyo2σyo2

3
Para decirlo sucintamente, Chris está sumando funciones de densidad de probabilidad, no variables aleatorias.
Geoff Oxberry

2
Chris quiere un PDF que tenga (al menos en principio) múltiples protuberancias. Es decir, él era la suma de archivos PDF, no el PDF de una suma.
dmckee --- ex-gatito moderador

1
Es cierto que la suma de variables aleatorias distribuidas normalmente es en sí misma una variable aleatoria distribuida normalmente. Sin embargo, la suma de las distribuciones normales no es una distribución normal. Entonces, si y X 2N ( μ 2 , σ 2 2 ) , es cierto que X 1 + X 2N ( μ 1 + μ 2 , σ 2 1X1norte(μ1,σ12)X2norte(μ2,σ22) , pero P D F ( X 1 + X 2 ) P D F ( X 1 ) + P D F ( X 2 ) . (El crédito va a @ChrisGranade por la explicación.)X1+X2norte(μ1+μ2,σ12+σ22)PAGreF(X1+X2)PAGreF(X1)+PAGreF(X2)
Geoff Oxberry

2
@dmckee: esa no es una "suma ponderada de distribuciones normales", es una "mezcla de distribuciones normales".
Neil G

2
Los comentarios de @Barron no se consideran una parte esencial de la página. Definitivamente, debe editar su respuesta para incluir la esencia de los comentarios para que los lectores que no los vean no se engañen.
David Ketcheson

2

Actualización : esta respuesta es incorrecta, debido a la confusión en la terminología (consulte la cadena de comentarios a continuación para obtener más detalles); Solo lo dejo como guía para que la gente no vuelva a publicar esta respuesta (además de Barron). Por favor no lo vote hacia arriba o hacia abajo.

Solo usaría propiedades de variables aleatorias para reducirlo a una sola variable aleatoria normalmente distribuida. La suma de dos variables aleatorias independientes, normalmente distribuidas, es en sí misma una variable aleatoria , por lo que si y X 2N ( μ 2 , σ 2 2 ) , entoncesX1norte(μ1,σ12)X2norte(μ2,σ22)

X1+X2norte(μ1+μ2,σ12+σ22).

Además, si , entoncesw1R

w1X1norte(w1μ1,w12σ12).

Usando estos dos resultados combinados, entonces

PAGr(θEl |reunatuna)norte(yo=1kwyoμyo,yo=1kwyo2σyo2).

Entonces, en este caso, solo necesitará extraer muestras de una única distribución, lo que debería ser mucho más manejable.


2
Esta es la solución a un problema diferente que se puede ver en el hecho de que la distribución original es multimodal y su sugerencia es unimodal.
Chris Ferrie

@ChrisFerrie: Te creo, pero según la notación, estoy confundido acerca de por qué la distribución anterior sería multimodal, mientras que la suma de dos variables aleatorias gaussianas independientes no lo sería. ¿Que me estoy perdiendo aqui?
Geoff Oxberry

pag(X1+X2)pag(X1)+pag(X2)yo

Ah, estás viendo sumas de archivos PDF. Sí, esa es una bestia completamente diferente. Ahora que leo la pregunta más de cerca, veo lo que estás diciendo y voy a eliminar mi respuesta. ¡Gracias!
Geoff Oxberry

He recuperado mi respuesta eliminada anteriormente solo para servir como guía para otros, de modo que nadie más responda esta pregunta como lo hicimos Barron y yo. Por favor, no suba ni baje mi respuesta nunca más.
Geoff Oxberry
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.