¿Es efectivo el muestreo latino de hipercubos en múltiples dimensiones?

Actualmente estoy usando un Latin Hypercube Sampling (LHS) para generar números aleatorios uniformes bien espaciados para los procedimientos de Monte Carlo. Aunque la reducción de varianza que obtengo de LHS es excelente para 1 dimensión, no parece ser efectiva en 2 o más dimensiones. Al ver cómo LHS es una técnica de reducción de varianza bien conocida, me pregunto si puedo interpretar mal el algoritmo o usarlo de alguna manera.

En particular, el algoritmo LHS que uso para generar variables aleatorias uniformes espaciadas en dimensiones es:$N$$D$

• Para cada dimensión , genere un conjunto de números aleatorios distribuidos uniformemente modo que , ...$D$$N$$\{u^1_D,u^2_D...u^N_D\}$$u^1_D \in [0,\frac{1}{N+1}]$$u^2_D \in [\frac{1}{N+1}, \frac{2}{N+1}]$$u^N_D \in [\frac{N}{N+1}, 1]$

• Para cada dimensión , reordena aleatoriamente los elementos de cada conjunto. El primer producido por LHS es el vector dimensional que contiene el primer elemento de cada conjunto reordenado, el segundo producido por LHS es el vector dimensional que contiene el segundo elemento de cada conjunto reordenado, y así sucesivamente ...$D \geq 2$$U(0,1)^D$$D$$U(0,1)^D$$D$

He incluido algunas gráficas a continuación para ilustrar la reducción de varianza que obtengo en y para un procedimiento de Monte Carlo. En este caso, el problema involucra estimar el valor esperado de una función de costo donde , es una variable aleatoria dimensional distribuida entre . En particular, los gráficos muestran la media y la desviación estándar de 100 estimaciones medias de muestra de para tamaños de muestra de 1000 a 10000.$D = 1$$D = 2$$E[c(x)]$$c(x) = \phi(x)$$x$$D$$[-5,5]$$E[c(x)]$

Obtengo el mismo tipo de resultados de reducción de varianza, independientemente de si uso mi propia implementación o la lhsdesignfunción en MATLAB. Además, la reducción de la varianza no cambia si permuto todos los conjuntos de números aleatorios en lugar de solo los que corresponden a .$D \geq 2$

Los resultados tienen sentido ya que el muestreo estratificado en significa que deberíamos tomar muestras de cuadrados en lugar de cuadrados que se garantiza que están bien distribuidos.$D = 2$$N^2$$N$

He dividido los problemas descritos en tu publicación en tres preguntas a continuación. Una buena referencia para los resultados en Latin Hypercube Sampling y otras técnicas de reducción de varianza es este capítulo del libro . Además, este capítulo del libro proporciona información sobre algunos de los "fundamentos" de la reducción de la varianza.

Q0. ¿Qué es la reducción de varianza? Antes de entrar en detalles, es útil recordar lo que realmente significa 'reducción de varianza'. Como se explica en el capítulo del libro 'conceptos básicos', la varianza de error asociada con un procedimiento de Monte Carlo es típicamente de la forma bajo el muestreo IID. Para reducir la varianza del error, podemos aumentar el tamaño de la muestra o encontrar una manera de reducir . La reducción de la variación se refiere a las formas de reducir , por lo que dichos métodos pueden no tener ningún efecto en la forma en que la variación de error cambia a medida que varía.$\sigma^2/n$$n$$\sigma$$\sigma$$n$

Q1. ¿Se ha implementado correctamente el muestreo latino de hipercubos? Su descripción escrita me parece correcta y es consistente con la descripción en el capítulo del libro. Mi único comentario es que los rangos de las variables no parecen llenar todo el intervalo de la unidad; parece que realmente necesita , pero es de esperar que este error no se haya introducido en su implementación. De todos modos, el hecho de que ambas implementaciones dieron resultados similares sugeriría que es probable que su implementación sea correcta.$u^i_D$$u^i_D \in [\frac{i-1}{N}, \frac{i}{N}]$

Q2 ¿Sus resultados son consistentes con lo que podría esperar de LHS? La Proposición 10.4 en el capítulo del libro establece que la varianza LHS nunca puede ser (mucho) peor que la varianza obtenida del muestreo IID. A menudo, la variación de LHS es mucho menor que la variación de IID. Más precisamente, la Proposición 10.1 establece que, para la estimación de LHS , tenemos donde es el 'residual de la aditividad' de la función es decir, menos su mejor aproximación aditiva (vea la página 10 del capítulo del libro para más detalles, es aditiva si podemos escribir$\hat{\mu}_{LHS}=\frac{1}{n} \sum_{i=1}^n f(X_i)$

Para , cada función es aditiva, por lo que y de la Proposición 10.1. De hecho, para LHS es equivalente a la estratificación basada en la cuadrícula (Sección 10.1 en el capítulo del libro), por lo que la varianza es en realidad (ecuación 10.2 en el capítulo del libro; se supone que es continuamente diferenciable). Esto no parece inconsistente con su primer gráfico. ¡El punto principal es que es un caso muy especial!$D=1$$e=0$$\mathrm{Var}(\hat{\mu}_{LHS})=o(n^{-1})$$D=1$$O(n^{-3})$$f$$D=1$

Para , es probable que por lo que puede esperar una variación del orden . Nuevamente, esto no es inconsistente con su segundo gráfico. La reducción de varianza real lograda (en comparación con el muestreo IID) dependerá de qué tan cerca esté la función elegida de ser aditiva.$D=2$$e\neq 0$$O(n^{-1})$

En resumen, LHS puede ser efectivo en dimensiones bajas a moderadas y especialmente para funciones bien aproximadas por funciones aditivas.

http://statweb.stanford.edu/~owen/mc/Ch-var-adv.pdf

Este artículo discute la reducción de varianza del muestreo de hipercubos latinos en múltiples dimensiones. LHS no impone la uniformidad al muestrear en múltiples dimensiones porque simplemente muestrea en cada dimensión de forma independiente y luego combina las dimensiones al azar. El muestreo estratificado de los contenedores de N ^2, como usted menciona, también se conoce como muestreo ortogonal como se discute en la página de Wikipedia: https://en.wikipedia.org/wiki/Latin_hypercube_sampling y más impone la uniformidad multidimensional al tomar muestras de los contenedores de todas las dimensiones combinadas en su lugar.

Con algunos ajustes a este estilo de muestreo, la varianza del error puede ser O (N ^{-1-2 / d} ) (en la referencia anterior). Aunque esto proporciona grandes ganancias para las dimensiones pequeñas, en dimensiones más grandes comienza a degradarse de nuevo al rendimiento del Monte Carlo común.

Quiero comentar sobre "aditividad". LHS se asegura, por ejemplo, de que X1 y X2 estén bien distribuidos (generalmente en (0,1)), por lo que si un diseño depende solo de una variable, obtendrá un histograma "perfecto" y una fuerte reducción de la varianza. Para la integración de f = 100 * X1 + X2, también obtendrá buenos resultados, ¡pero no para X1-X2! Esta diferencia tiene una distribución aleatoria casi iid, sin características de LHS. En electrónica, los diseños a menudo aprovechan que las influencias de 2 parámetros se cancelarán entre sí (par diferencial, espejo de corriente, circuitos de réplica, etc.), pero el efecto de falta de coincidencia X1-X2 todavía está presente y a menudo es dominante. Por lo tanto, el análisis LHS MC no se comporta mejor que rnd MC en muchos diseños eléctricos.