Muestreo exacto de mezclas impropias


10

Supongamos que quiero muestrear a partir de una distribución continua . Si tengo una expresión de en la formappag(X)pag

pag(X)=yo=1unayoFyo(X)

donde y f_i son distribuciones de las que se puede muestrear fácilmente, entonces puedo generar fácilmente muestras de p de la siguiente manera:f i punayo0 0,younayo=1Fyopag

  1. Muestreo de una etiqueta yo con probabilidad unayo
  2. Muestreo XFyo

¿Es posible generalizar este procedimiento si unayo ocasionalmente es negativo? Sospecho que he visto esto en algún lugar, posiblemente en un libro, posiblemente para la distribución de Kolmogorov, por lo que estaría encantado de aceptar una referencia como respuesta.

Si un ejemplo de juguete concreto es útil, digamos que me gustaría muestra a partir de

pag(X,y)Exp(-X-y-αXy)X,y>0 0
Voy a continuación, tome α(0 0,2) por razones técnicas que no deberían importar demasiado, en el gran esquema de las cosas.

En principio, podría ampliar esto como la siguiente suma:

pag(X,y)norte=0 0(-1)norteαnorte(norte2)!(norte2)!norte!(Xnorte/ /2mi-X(norte2)!)(ynorte/ /2mi-y(norte2)!).

Los términos (X,y) dentro de la suma se pueden muestrear independientemente como variables aleatorias gamma. Evidentemente, mi problema es que los coeficientes son "ocasionalmente" negativos.

Edición 1 : aclaro que estoy buscando generar muestras exactas de pag , en lugar de calcular las expectativas en pag . Para aquellos interesados, en los comentarios se alude a algunos procedimientos para hacerlo.

Edición 2 : Encontré la referencia que incluye un enfoque particular para este problema, en 'Generación de varianza aleatoria no uniforme' de Devroye . El algoritmo es de 'Una nota sobre muestreo de combinaciones de distribuciones', de Bignami y de Matteis . El método consiste en unir efectivamente la densidad desde arriba con los términos positivos de la suma, y ​​luego usar el muestreo de rechazo basado en este sobre. Esto corresponde al método descrito en la respuesta de @ Xi'an.


1
¿Por qué no puede muestrear simplemente usando el valor absoluto de y luego negando su muestra ? En otras palabras, defina(asumiendo que es finito), y luego renormalizar su suma por . aiXfyoZ: =yo=1El |unayoEl |Z
Alex R.

2
@AlexR. Si te entiendo, una versión de esto sería práctica para calcular expectativas bajo , pero aún no para extraer muestras exactas de . Ciertamente, esta es una respuesta a un problema relevante, aunque no es exactamente lo que estoy buscando. ppagpag
πr8

44
Depende de lo que intente hacer con esa muestra. Para calcular los momentos, por ejemplo, parece sencillo generalizar el muestreo de mezclas de densidades marcando adicionalmente cualquier punto seleccionado de un componente con coeficiente negativo como un punto "negativo" y ponderando su contribución negativamente en la estimación del momento. Del mismo modo, podría construir un KDE con esos pesos negativos, ¡siempre que pueda aceptar la posibilidad de que algunos de sus valores sean negativos! (cc @ Xi'an)
whuber

1
¿Cuál sería una muestra "exacta" de una distribución? Nuevamente, si puede y cómo puede explotar una mezcla con pesos negativos se reduce a cómo piensa usar la muestra.
Whuber

1
Esto no responde a su pregunta, pero es posible que le interese leer sobre el muestreo de las estadísticas de
Tim

Respuestas:


5

Me he preguntado sobre esta pregunta pero nunca llegué con una solución satisfactoria.

Una propiedad que es de posible uso es que, si una densidad escribe donde g es una densidad tal que g ( x ) ω h ( x ) , simulando de g y rechazar estas simulaciones con probabilidad ω h ( x ) / g ( x ) proporciona simulaciones de f . En el caso actual, g es la versión normalizada de los componentes de peso positivo g ( x ) = α i > 0 α i

F(X)=sol(X)-ωh(X)1-ωω>0 0
solsol(X)ωh(X)solωh(X)/ /sol(X)Fsol y ω h es el resto h ( x ) = α i < 0 α i f i ( x ) / α i < 0 α i Esto de hecho se encuentra en el Biblia de simulación de Devroye,Generación de variables aleatorias no uniformes, Sección II.7.4, pero se sigue de un simple razonamiento de aceptación-rechazo.
sol(X)=αyo>0 0αyoFyo(X)/ /αyo>0 0αyo
ωh
h(X)=αyo<0 0αyoFyo(X)/ /αyo<0 0αyo

Un primer inconveniente de cálculo de este enfoque es que, a pesar de la simulación de primera partir de un componente elegido , las sumas en tanto g y h se debe calcular para la etapa de rechazo. Si las sumas son infinitas sin una versión de forma cerrada, esto hace que el método de aceptación-rechazo sea imposible de implementar .Fyosolh

Una segunda dificultad es que, dado que ambas sumas de pesos son del mismo orden la tasa de rechazo 1 - ϱ aceptar = α i < 0 | α i | / i | α i | No tiene límite superior. En realidad, si la serie asociada con las α i no es absolutamente convergente, ¡la probabilidad de aceptación es cero!

αyo>0 0αyo=1-αyo<0 0αyo
1-ϱaceptar=αyo<0 0El |αyoEl |/ /yoEl |αyoEl |
αyo Y el método no se puede implementar en esta situación.

En el caso de una representación mixta, si puede escribirse como f ( x ) = i = 1 α i g i ( x ) - ω i h ( x i )F el componente se puede elegir primero y luego el método aplicado al componente. Pero esto puede ser delicado de implementar, ya que identificar pares ( g i , h i ) que se ajustan a g i ( x ) - ω i h ( x i ) > 0 de la suma posiblemente infinita no es necesariamente factible.

F(X)=yo=1αyosolyo(X)-ωyoh(Xyo)1-ωyoωyo>0 0
(solyo,hyo)solyo(X)-ωyoh(Xyo)>0 0

F(X)=κh(X){1-una1(X)+una2(X)-}
unayo(X)nortehMétodo de series alternativas de Devroye

El problema se ha considerado recientemente en el contexto de estimadores sesgados para MCMC, como por ejemplo en el enfoque de Glynn-Rhee . Y el estimador de la ruleta rusa (con una conexión con el problema de fábrica de Bernoulli). Y la metodología imparcial de MCMC . Pero no hay escapatoria al problema de los signos ... Lo que dificulta su uso al estimar densidades como en los métodos pseudo-marginales.

Después de pensarlo más, mi conclusión es que no existe un método genérico para producir una simulación real de esta serie [en lugar de una mezcla que resulte ser un nombre inapropiado], sin imponer una estructura adicional a los elementos de la serie, como el de el algoritmo anterior de la biblia de Devroye . De hecho, dado que la mayoría de las densidades (?) Permiten una expansión en serie del tipo anterior, esto implicaría la existencia de una especie de máquina de simulación universal ...


¡Gracias! Agradezco las referencias adicionales también.
πr8

1
pp=λgμhXgλgμh{(x,y):μh(x)<y<λg(x)}

1
(X,y)X

1
También estaba pensando en una muestra de corte, pero esto no es "exacto" en un sentido de simulación.
Xi'an

1

Tengo el borrador de una idea que podría funcionar. No es exacto , pero con suerte asintóticamente exacto. Para convertirlo en un método realmente riguroso, donde se controle la aproximación, o se pueda probar algo al respecto, probablemente se necesite mucho trabajo.

solh

pag=λsol-μh

λ-μ=1λ1

nortepag

  • λnortesol
  • μnorteh

(λ-μ)norte=nortenortenortenorte

XvXϵsolvλnortesol(X)ϵμnorteh(X)ϵnortepag(X)ϵ. Para esto, debe suponer que el número de puntos en el volumen es suficientemente grande.

solh

Nota sobre un método exacto:

solhsolhX(λpag-μq)pagqλpagpagλ>1


1
Lo consideré pero lo rechacé porque mis esfuerzos iniciales para demostrar que podría funcionar me llevaron a darme cuenta de que, en el mejor de los casos, será una aproximación y, potencialmente, una pobre. Sí, asintóticamente podría funcionar, pero no satisfará la solicitud del OP para un muestreo "exacto" de la distribución.
whuber

La eficacia de este método es exactamente del mismo orden que el método exacto de aceptación-rechazo.
Xi'an

1
solhXsolh

1
sol/ /(sol+h)solh

@BenoitSanchez Gracias por su respuesta en profundidad; Aprecio especialmente los comentarios al final sobre la (potencial) imposibilidad de exactitud. Me he encontrado con las fábricas de Bernoulli en el pasado y las encontré bastante desafiantes; Intentaré volver a visitar el tema y ver si proporciona alguna idea.
πr8
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.