Cómo distribuir de manera óptima los sorteos al calcular múltiples expectativas

Supongamos que queremos calcular algunas expectativas:

E_{Y} E_{X | Y} [f (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

Supongamos que queremos aproximar esto usando la simulación de Monte Carlo.

{mi}_{Y} {mi}_{X El | Y} [F (X, Y)] \approx \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} F (X^{r, s}, y^{r})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

Pero supongamos que es costoso para extraer muestras de ambas distribuciones, por lo que sólo podemos darnos el lujo de dibujar un número fijo . $K$

¿Cómo debemos asignar ? Los ejemplos incluyen sorteos para cada distribución, o en el extremo, un sorteo en el exterior y sorteos en el interior, viceversa, etc. $K$ $K/2$ $K-1$

Mi intuición me dice que tendrá que ver con la varianza / entropía de las distribuciones entre sí. Supongamos que la exterior es un punto de masa, entonces la división de que minimiza el error MC sería dibujar 1 de la y dibujar de la . $K$ $Y$ $K-1$ $X|Y$

Esperemos que esto esté claro.

— Wolfsatthedoor
fuente

Lo arregló para ti

— wolfsatthedoor

El "viceversa" y su comentario a @ Xi'ans respuestas parecen indicar que se tiene en cuenta que es posible dibujar la variable externa más veces que la variable interna, pero ¿cómo podría eso sentido - no son todos outers para el que

los interiores se dibujan desperdiciados?

0

$0$

— Juho Kokkala

Justo, mínimo un sorteo por exterior supongo O podría pensar en programarlo para guardar el sorteo, supongo

— Wolfsatthedoor

@robertevansanders Confirme si la interpretación de su pregunta en las dos primeras oraciones de la respuesta de Xi'ans es correcta

— Juho Kokkala

Como dijiste, sí, pero cambia y y x

— wolfsatthedoor

Esta es una pregunta muy interesante con poca documentación en la literatura de Monte Carlo, excepto en relación con la estratificación y la Rao-Blackwellisation . Esto posiblemente se deba al hecho de que los cálculos de la varianza condicional esperada y de la varianza de la expectativa condicional rara vez son factibles.

Primero, supongamos que ejecuta simulaciones desde , y para cada simulada , ejecuta simulaciones desde , . Su estimación de Monte Carlo es entonces $R$ $\pi_X$ $x_1,\ldots,x_R$ $x_r$ $S$ $\pi_{Y|X=x_r}$ $y_{1r},\ldots,y_{sr}$ La varianza de esta estimación se descompone como sigue

δ (R, S) = \frac{1}{R S} \sum_{r = 1}^{R} \sum_{s = 1}^{S} f (x_{r}, y_{r s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$

Por lo tanto, si se quiere minimizar esta variación la elección óptima es

. Implicando que

. Excepto cuando el primer término de varianza es nulo, en cuyo caso no importa. Sin embargo, como se discutió en los comentarios, la suposición

no es realista, ya que no tiene en cuenta la producción de una

[o supone que esto es gratis].

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {\sum_{s = 1}^{S} f (x_{r}, y_{r s})} \\ = \frac{1}{R S^{2}} {var}_{X} {mi}_{Y El | X} {\sum_{s = 1}^{S} F (X_{r}, y_{r s}) El | X_{r}} + \frac{1}{R S^{2}} {mi}_{X} {var}_{Y El | X} {\sum_{s = 1}^{S} F (X_{r}, y_{r s}) El | X_{r}} \\ = \frac{1}{R S^{2}} {var}_{X} {S {mi}_{Y El | X} [F (X_{r}, Y) El | X_{r}]} + \frac{1}{R S^{2}} {mi}_{X} [S {var}_{Y El | X} {F (X_{r}, Y) El | X_{r}}] \\ = \frac{1}{R} {var}_{X} {{mi}_{Y El | X} [F (X_{r}, Y) El | X_{r}]} + \frac{1}{R S} {mi}_{X} [{var}_{Y El | X} {F (X_{r}, Y) El | X_{r}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {{mi}_{Y El | X} [F (X_{r}, Y) El | X_{r}]} + \frac{1}{K} {mi}_{X} [{var}_{Y El | X} {F (X_{r}, Y) El | X_{r}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$

R = K

$R=K$

S = 1

$S=1$

K = R S

$K=RS$

x_{r}

$x_r$

Ahora supongamos diferentes costos de simulación y la restricción presupuestaria , lo que significa que el 's de costes veces más para simular que el ' s. La descomposición anterior de la varianza es entonces $R+aRS=b$ $y_{rs}$ $a$ $x_r$ que puede minimizarse encomo

\frac{1}{R} {var}_{X} {{mi}_{Y El | X} [F (X_{r}, Y) El | X_{r}]} + \frac{1}{R (si - R) / / una R} {mi}_{X} [{var}_{Y El | X} {F (X_{r}, Y) El | X_{r}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$

R

$R$

[el número entero más cercano bajo las restricciones

], excepto cuando la primera varianza es igual a cero, en cuyo caso

. Cuando

R^{*} = si / / 1 + {una {mi}_{X} [{var}_{Y El | X} {F (X_{r}, Y) El | X_{r}} / / {var}_{X} {{mi}_{Y El | X} [F (X_{r}, Y) El | X_{r}]}}^{1 / / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$

R \geq 1

$R\ge 1$

S \geq 1

$S\ge 1$

R = 1

$R=1$

, la varianza mínima corresponde a una

máxima, lo que lleva a

en el formalismo actual.

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$

R

$R$

S = 1

$S=1$

Tenga en cuenta también que esta solución debe compararse con la solución simétrica cuando la integral interna está en dado y la integral externa está contra el marginal en (suponiendo que las simulaciones también sean factibles en este orden). $X$ $Y$ $Y$

Una extensión interesante de la pregunta sería considerar un número diferente de simulaciones para cada simulado , dependiendo del valor . $S(x_r)$ $x_r$ $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$

— Xi'an
fuente

K = R S

$K=RS$

K = R S + R

$K=RS+R$

x

$x$

y

$y$

R

$R$

X

$X$

Y

$Y$

K - 1

$K-1$

K / 2

$K/2$

Y

$Y$

K / 2

$K/2$

S = 1

$S=1$

@ Xi'an sí Kolkata es correcto, su solución generalmente no puede sostenerse. Supongamos ahora que la variable interna tiene una distribución degenerada y la externa tiene una varianza significativa, entonces usted querría probar la menor cantidad de dibujos internos posible

— wolfsatthedoor

Creo que tu respuesta no puede ser correcta. Suponga que la distribución interna es degenerada y la externa es una gran varianza, ¿cómo puede ser S 1

— Wolfsatthedoor

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$

R^{*} = b

$R^*=b$

R

$R$

S \geq 1

$S\ge 1$

R (1 + a S) \leq b

$R(1+aS)\le b$

S = 1

$S=1$

R

$R$

b

$b$ .

— Xi'an