¿Qué es el muestreo de importancia?

Estoy tratando de aprender aprendizaje de refuerzo y este tema es realmente confuso para mí. He tomado una introducción a las estadísticas, pero no podía entender este tema intuitivamente.

El muestreo de importancia es una forma de muestreo de una distribución diferente de la distribución de interés para obtener más fácilmente mejores estimaciones de un parámetro de la distribución de interés. Normalmente, esto proporcionará estimaciones del parámetro con una varianza menor que la que se obtendría al tomar muestras directamente de la distribución original con el mismo tamaño de muestra.

Se aplica en varios contextos. En general, el muestreo de la distribución diferente permite tomar más muestras en una parte de la distribución de interés que dicta la aplicación (región importante).

Un ejemplo podría ser que desea tener una muestra que incluya más muestras de las colas de la distribución de lo que proporcionaría un muestreo aleatorio puro de la distribución de interés.

El artículo de Wikipedia que he visto sobre este tema es demasiado abstracto. Es mejor mirar varios ejemplos específicos. Sin embargo, sí incluye enlaces a aplicaciones interesantes como Bayesian Networks.

Un ejemplo de muestreo importante en las décadas de 1940 y 1950 es una técnica de reducción de varianza (una forma del Método Monte Carlo). Véase, por ejemplo, el libro Monte Carlo Methods de Hammersley y Handscomb publicado como Methuen Monograph / Chapman and Hall en 1964 y reimpreso en 1966 y más tarde por otros editores. La sección 5.4 del libro cubre el muestreo de importancia.

El muestreo de importancia es un método de simulación o Monte Carlo destinado a la aproximación de integrales. El término "muestreo" es algo confuso en el sentido de que no tiene la intención de proporcionar muestras de una distribución dada.

La intuición detrás del muestreo de importancia es que una integral bien definida, como puede expresarse como una expectativa para un amplio rango de distribuciones de probabilidad: I = E f [ H ( X ) ] = ∫ X H ( x ) f ( x

$$\mathfrak{I}=\int_\mathfrak{X} h(x)\,\text{d}x$$ donde f denota la densidad de una distribución de probabilidad y H está determinado por h y f . (Tenga en cuenta que H ( ⋅ ) suele ser diferente de h ( ⋅ ) .)De hecho, la elección H ( x ) = h ( x $$\mathfrak{I}=\mathbb{E}_f[H(X)]=\int_\mathfrak{X} H(x)f(x)\,\text{d}x$$ $f$$H$$h$$f$$H(\cdot)$$h(\cdot)$ conduce a las igualdadesH(x)f(x)=h(x)eI=Ef[H(X)]-bajo algunas restricciones en el soporte def, lo que significaf(x)>0cuandoh(x)≠0 $$H(x)=\dfrac{h(x)}{f(x)}$$ $H(x)f(x)=h(x)$$\mathfrak{I}=\mathbb{E}_f[H(X)]$$-$$f$$f(x)>0$$h(x)\ne 0$$-$. Por lo tanto, como señaló W. Huber en su comentario, no hay unicidad en la representación de una integral como una expectativa, sino por el contrario, una variedad infinita de tales representaciones, algunas de las cuales son mejores que otras una vez como criterio para comparar ellos es adoptado. Por ejemplo, Michael Chernick menciona elegir para reducir la varianza del estimador.$f$

Una vez que se comprende esta propiedad elemental, la implementación de la idea es confiar en la Ley de Números Grandes como en otros métodos de Monte Carlo, es decir, simular [a través de un generador pseudoaleatorio] una muestra iid distribuido de f y de utilizar la aproximación I = $(x_1,\ldots,x_n)$$f$que

$$\hat{\mathfrak{I}}=\frac{1}{n} \sum_{i=1}^n H(x_i)$$

1. es un estimador imparcial de $\mathfrak{I}$
2. converge casi seguro a $\mathfrak{I}$

Dependiendo de la elección de la distribución , el estimador anterior que puede o no tener una varianza finita. Sin embargo, siempre existen opciones de f que permiten una variación finita e incluso una variación arbitrariamente pequeña (aunque esas opciones pueden no estar disponibles en la práctica). Y también existen opciones de f que hacen que el estimador de muestreo de importancia que una muy mala aproximación de I . Esto incluye todas las opciones donde la varianza se vuelve infinita, a pesar de que un artículo reciente de Chatterjee y Diaconis estudia cómo comparar muestras de importancia con la varianza infinita. La siguiente imagen está tomada de$f$$\hat{\mathfrak{I}}$$f$$f$$\hat{\mathfrak{I}}$${\mathfrak{I}}$Mi discusión en el blog del artículo ilustra la pobre convergencia de los estimadores de varianza infinita.

Muestreo de importancia con distribución importante una distribución Exp (1) distribución objetivo una distribución Exp (1/10), y función de interés . El verdadero valor de la integral es 10 .$h(x)=x$$10$

[Lo siguiente se reproduce de nuestro libro Métodos estadísticos de Monte Carlo .]

$f$

$$\int_\mathfrak{X} h(x) f(x)\,\text{d}x$$

$p$${\mathcal{C}}(0,1)$$2$

$$p = \int_2^{+\infty} \; {1\over \pi(1 + x^2)} \; \text{d}x \;.$$ $p$ $${\hat{p}}_1 = {1\over m} \; \sum_{j=1}^m \; \mathbb{I}_{X_{j} > 2}$$ $X_1,\ldots,X_m$ $\sim$ $\; \mathcal{C}(0,1)$$p(1-p)/m$$0.127/m$$p=0.15$

${\mathcal{C}}(0,1)$

$${\hat{p}}_2 = {1\over 2m} \; \sum_{j=1}^m \; \mathbb{I}_{|X_{j}| > 2}$$ $p(1-2p)/2m$$0.052/m$

$[2,+\infty)$$p$$p$

$$p = {1\over 2} - \int_0^2 \; {1\over \pi(1 + x^2)} \; \text{d}x \;,$$ $h(X) = 2/\pi(1 + X^2)$$X \sim {\mathcal{U}}_{[0, 2]}$$p$ $${\hat{p}}_3 = {1\over 2} - {1\over m} \; \sum_{j=1}^m \; h(U_j)$$ $U_j \sim {\mathcal{U}}_{[0,2]}$${\hat{p}}_3$$(\mathbb{E}[h^2] - \mathbb{E}[h]^2)/m$$0.0285/m$$p$ $$p = \int_0^{1/2} \; {y^{-2}\over \pi(1 + y^{-2})} \; \text{d}y \;,$$ ${1\over 4} \; h(Y) = 1/2\pi(1 + Y^2)$$[0,1/2]$$p$ $${\hat{p}}_4 = {1\over 4 m} \; \sum_{j=1}^m \; h(Y_j)$$ $Y_j \sim {\mathcal{U}}_{[0,1/2]}$${\hat{p}}_{4}$$0.95 \; 10^{-4}/m$

${\hat{p}}_1$${\hat p}_4$$10^{-3}$$\sqrt{1000} \approx 32$$\hat p_1$$\blacktriangleright$