Muestreo de importancia de mapas ambientales

14

¿Cuál es el enfoque más conocido actualmente e idealmente verificado por producción para el muestreo de mapas de entorno (EM) en un trazado de ruta unidireccional basado en MIS y tipos similares de renderizadores? Preferiría soluciones que sean razonablemente complicadas y razonablemente funcionales a las que proporcionan un muestreo perfecto a costa de una implementación súper complicada y difícil de entender.

Lo que se hasta ahora

Hay algunas formas fáciles de muestrear EM. Se puede muestrear el hemisferio necesario de una manera ponderada por el coseno, que ignora las formas de la función BSDF y EM. Como resultado, no funciona para EM dinámicos:

Para mejorar el muestreo a un nivel utilizable, se puede muestrear la luminancia del EM en toda la esfera. Se implementa con relativa facilidad y los resultados son bastante buenos. Sin embargo, la estrategia de muestreo sigue ignorando la información de visibilidad hemisférica y el factor coseno (y también el BSDF), lo que resulta en un alto ruido en las superficies que no están iluminadas directamente por áreas de alta intensidad del EM:

Documentos

He encontrado algunos documentos sobre el tema, pero aún no los he leído. ¿Vale la pena leer e implementar alguno de estos en un trazador de ruta unidireccional directo, o hay algo aún mejor?

Muestreo de importancia estructurada de mapas ambientales (2003) por Agarwal et al.
Muestreo de importancia orientable (2007) por Kartic Subr y Jim Arvo. Afirman presentar "... un algoritmo para un muestreo eficiente e importante estratificado de mapas ambientales que genera muestras en el hemisferio positivo definido por la orientación local de superficies arbitrarias mientras se tiene en cuenta la ponderación del coseno. "El documento" Importancia del muestreo de armónicos esféricos "lo comenta:" Crean una representación triangulada del mapa del entorno y almacenan la iluminación premultipliplicada por cada una de las primeras nueve funciones básicas de armónicos esféricos en cada vértice. Esto forma una base orientable donde el coseno sujetado puede rotarse eficientemente a cualquier orientación ".
Muestreo práctico de importancia del producto para iluminación directa (2008) por Petrik Clarberg y Tomas Akenine-Möller. Un algoritmo para muestrear el producto de la iluminación del mapa ambiental y la reflectancia de la superficie. Utiliza muestreo de importancia basado en wavelets.
Importance Sampling Spherical Harmonics (2009) por Jarosz, Carr y Jensenn. El resumen dice: "... presentamos el primer método práctico para las funciones de muestreo de importancia representadas como armónicos esféricos (SH) ..."
Muestreo de mapas de medio ambiente basado en el cambio medio por tonos (2015) por Feng et al. Esto es bastante nuevo y no he encontrado ni una referencia ni el documento en sí.

— ivokabel
fuente

Tengo una pregunta. ¿La segunda imagen se genera solo al muestrear el EM? ¿O es una versión MISed de muestreo de coseno y muestreo EM? Realmente espero que sea la versión MISed, porque si es así, entonces podría tener un remedio para el alto ruido en la parte oscura.

— tom

No @tom, solo utiliza el muestreo espermático EM, ignorando tanto el BRDF (Lambert) como el factor coseno. Se usaron 64 muestras y no se aplicó el filtro de espacio de imagen, solo promediando el área de píxeles. Cuando se aplica MIS para combinar el muestreo EM con el muestreo de coseno, el ruido en la sombra disminuye mucho, pero aumenta ligeramente en la parte iluminada por el sol.

— ivokabel

6

Esta no es una respuesta completa, solo me gustaría compartir el conocimiento que obtuve al estudiar dos de los documentos mencionados en la pregunta: Muestreo de importancia orientable y Muestreo práctico de importancia del producto para iluminación directa .

Muestreo de importancia orientable

En este documento proponen un método para muestrear el producto del componente coseno fijado y la iluminación del mapa ambiental:

L_{mi METRO} (ω_{yo}) {(ω_{yo} \cdot norte)}^{+}

$L_{EM}\left(\omega_{i}\right)\left(\omega_{i}\cdot n\right)^+$

Aprovechan el hecho de que una aproximación lineal por partes de la función del producto puede expresarse relativamente bien y precalcularse parcialmente utilizando las primeras nueve bases armónicas esféricas. Construyen esta aproximación sobre un EM triangulado adaptativamente y lo usan como una función importante para el muestreo.

Precalculan y almacenan coeficientes de aproximación para cada vértice de triángulo y también coeficientes para el cálculo de la integral de aproximación sobre el triángulo para cada triángulo. Estos coeficientes se denominan pesos de vértice y triángulo. Luego hacen uso del hecho de que es posible calcular fácilmente los coeficientes para una integral sobre un conjunto de triángulos simplemente sumando los pesos de los triángulos individuales sin incorporar bases armónicas esféricas adicionales. Esto les permite construir un árbol binario equilibrado sobre los triángulos donde cada nodo contiene coeficientes para calcular la integral de aproximación sobre los triángulos del subárbol del nodo.

El procedimiento de muestreo consiste en seleccionar un triángulo y muestrear su área:

Se elige un triángulo descendiendo por el árbol binario preconstruido con probabilidad proporcional a las aproximaciones sub-integrales. Esto cuesta cálculos sobre la marcha de sub-integrales, cada uno de los cuales consiste en un producto interno de coordenadas armónicas esféricas de coseno prensado con los coeficientes calculados previamente. $O\left(\log N_{\triangle}\right)$
La superficie del triángulo elegido se muestrea en tiempo de forma bi-lineal mediante una nueva estrategia de muestreo estratificado propuesta en el documento. $O\left(1\right)$

Para mí, esto parece una técnica prometedora , pero la pregunta clásica con los papeles es cómo se comportará en la vida real. Por un lado, puede haber casos patológicos en los que el EM es difícil de aproximar con una función lineal triangulada por partes, lo que puede conducir a una enorme cantidad de triángulos y / o una mala calidad de la muestra. Por otro lado, puede proporcionar instantáneamente una aproximación relativamente buena de toda la contribución EM, lo que puede ser útil al muestrear múltiples fuentes de luz.

Muestreo práctico de importancia del producto para iluminación directa

En este artículo proponen un método para muestrear el producto de la iluminación del mapa ambiental y la reflectancia de la superficie ponderada en coseno:

L_{E M} (ω_{i}) f_{r} (ω_{i}, ω_{o}, n) {(ω_{i} \cdot n)}^{+}

$L_{EM}\left(\omega_{i}\right)f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$

El único preprocesamiento en este método es el cálculo de una representación jerárquica del EM (ya sea basado en mipmap o wavelet). El resto se realiza sobre la marcha durante el muestreo.

El procedimiento de muestreo:

Creación de una aproximación BRDF sobre la marcha: primero extraen varias muestras de importancia BRDF y evalúan . A partir de estos valores, construyen una aproximación constante por partes basada en cuadrícula del BRDF, donde cada hoja del árbol contiene exactamente una muestra. $f_{r}\left(\omega_{i},\omega_{o},n\right)\left(\omega_{i}\cdot n\right)^+$
Calcular un producto de la aproximación BRDF y el EM: La multiplicación se realiza en las hojas de quadtree BRDF y los valores promediados se propagan a los padres.
Muestreo del producto: las muestras uniformes se alimentan a través del árbol del producto utilizando una deformación de muestra simple.

El procedimiento debería generar muestras relativamente buenas a costa de un cálculo previo pesado; muestran que se necesitan aproximadamente 100–200 muestras de BRDF para la aproximación de BRDF para lograr el mejor rendimiento de muestreo. Esto puede hacerlo adecuado para cálculos de iluminación puramente directos, donde se generan muchas muestras por punto de sombreado, pero probablemente sea demasiado costoso para los algoritmos de iluminación global (por ejemplo, trazadores de ruta unidireccional o bidireccional), donde generalmente se generan solo unas pocas muestras por punto de sombreado.

— ivokabel
fuente

4

Descargo de responsabilidad: no tengo idea de cuál es el estado del arte en el muestreo del mapa ambiental. De hecho, tengo muy poco conocimiento sobre este tema. Entonces, esta no será una respuesta completa, pero formularé el problema matemáticamente y lo analizaré. Lo hago principalmente por mí mismo, así que lo dejo en claro para mí mismo, pero espero que OP y otros lo encuentren útil.

$\newcommand{\w}{\omega}$

Queremos calcular la iluminación directa en un punto, es decir, queremos saber el valor de la integral donde es la función BSDF ( explícitamente la dependencia de lo normal que será útil más adelante), es el resplandor del mapa ambiental y es el término coseno junto con la visibilidad (para qué sirve el ) es decir if

I = \int_{S^{2}} f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+} d ω_{i}

$I =\int_{S^2} f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+ d\omega_i$

f (ω_{i}, ω_{o}, n)

$f(\omega_i,\omega_o,n)$

L (ω_{i})

$L(\omega_i)$

(ω_{i} \cdot n)^{+}

$(\omega_i \cdot n)^+$

+

$+$

(ω_{i} \cdot n)^{+} = 0

$(\omega_i \cdot n)^+=0$

(ω_{i} \cdot n) < 0

$(\omega_i \cdot n)<0$

Estimamos esta integral generando muestras con respecto a la función de densidad de probabilidad , el estimador es $N$ $\omega_i^1,\dots,\omega_i^N$ $p(\omega_i)$

I \approx \frac{1}{N} \sum_{k = 1}^{N} \frac{f (ω_{i}^{k}, ω_{o}, n) L (ω_{i}^{k}) (ω_{i}^{k} \cdot n)^{+}}{p (ω_{i}^{k})}

$I \approx \frac1N \sum_{k=1}^N \frac{f(\omega_i^k,\omega_o,n) \, L(\omega_i^k) \,(\omega_i^k\cdot n)^+ }{p(\omega_i^k)}$

La pregunta es: ¿Cómo elegimos el pdf modo que podamos generar las muestras en un tiempo aceptable y la varianza del estimador anterior es razonablemente pequeña? $p$

~~El mejor~~ método Elijaproporcional al integrando Pero la mayoría de las veces es Es muy costoso generar una muestra de acuerdo con este pdf, por lo que no es útil en la práctica. $p$

p (ω_{i}) \sim f (ω_{i}, ω_{o}, n) L (ω_{i}) (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim f(\omega_i,\omega_o,n) \, L(\omega_i) \,(\omega_i\cdot n)^+$

Métodos sugeridos por OP:

Método uno : Elija proporcional al término coseno Método dos : Elija proporcional al EM $p$

p (ω_{i}) \sim (ω_{i} \cdot n)^{+}

$p(\omega_i) \sim (\omega_i\cdot n)^+$

p

$p$

p (ω_{i}) \sim L (ω_{i})

$p(\omega_i) \sim L(\omega_i)$

Basado en los nombres de los documentos mencionados, puedo adivinar parcialmente lo que hacen (desafortunadamente no tengo el tiempo y la energía para leerlos en este momento). Pero antes de discutir lo que probablemente hacen, hablemos un poco sobre las series de poder: D

Si tenemos una función de una variable real, por ejemplo, . Entonces, si se comporta bien, puede expandirse en una serie de potencias Donde son constantes. Esto se puede usar para aproximar truncando la suma en algún paso Si es suficientemente alto, entonces el error es realmente pequeño. $f(x)$

f (x) = \sum_{k = 0}^{\infty} a_{k} x^{k}

$f(x) = \sum_{k=0}^\infty a_k x^k$

a_{k}

$a_k$

f

$f$

n

$n$

f (x) \approx \sum_{k = 0}^{n} a_{k} x^{k}

$f(x) \approx \sum_{k=0}^n a_k x^k$

n

$n$

Ahora, si tenemos función en dos variables, por ejemplo, podemos expandirla solo en el primer argumento donde son funciones solo en . También se puede expandir en ambos argumentos donde son constantes. Por lo tanto, la función con argumentos reales se puede ampliar como la suma de los poderes de ese argumento. Se puede hacer algo similar para las funciones definidas en la esfera. $f(x,y)$

f (x, y) = \sum_{k = 0}^{\infty} b_{k} (y) x^{k}

$f(x,y) = \sum_{k=0}^\infty b_k(y) \, x^k$

b_{k} (y)

$b_k(y)$

y

$y$

f (x, y) = \sum_{k, l = 0}^{\infty} c_{k l} x^{k} y^{l}

$f(x,y) = \sum_{k,l=0}^\infty c_{kl} x^k y^l$

c_{k l}

$c_{kl}$

Ahora, tengamos una función definida en la esfera, por ejemplo, . Dicha función también se puede ampliar de manera similar a la función de un parámetro real donde son constantes y Son armónicos esféricos . Los armónicos esféricos normalmente están indexados por dos índices y se escriben como función en coordenadas esféricas, pero eso no es importante aquí. Lo importante es que puede escribirse como una suma de algunas funciones conocidas. $f(\omega)$

f (ω) = \sum_{k = 0}^{\infty} α_{k} S_{k} (ω)

$f(\omega) =\sum_{k=0}^\infty \alpha_k S_k(\omega)$

α_{k}

$\alpha_k$

S_{k} (ω)

$S_k(\omega)$

f

$f$

Ahora la función que toma dos puntos en la esfera, por ejemplo, se puede expandir solo en sus primeros argumentos o en sus dos argumentos $f(\omega,\omega')$

f (ω, ω^{'}) = \sum_{k = 0}^{\infty} β_{k} (ω^{'}) S_{k} (ω)

$f(\omega,\omega') = \sum_{k=0}^\infty \beta_k(\omega') \, S_k(\omega)$

f (ω, ω^{'}) = \sum_{k, l = 0}^{\infty} γ_{k l} S_{k} (ω) S_{l} (ω^{'})

$f(\omega,\omega') = \sum_{k,l=0}^\infty \gamma_{kl} \, S_k(\omega)S_l(\omega')$

Entonces, ¿cómo es todo esto útil?

Propongo el CMUNSM (Crazy mental inútil sin método de muestreo): supongamos que tenemos expansiones para todas las funciones, es decir, Si conectamos esto en el integral obtenemos

\begin{aligned} f (ω_{yo}, ω_{o}, norte) & = \sum_{k, l, metro = 0 0}^{\infty} α_{k l metro} S_{k} (ω_{yo}) S_{l} (ω_{o}) S_{metro} (norte) \\ L (ω_{yo}) & = \sum_{norte = 0 0}^{\infty} β_{norte} S_{norte} (ω) \\ (ω_{yo} \cdot norte)^{+} & = \sum_{pag, q = 0 0}^{\infty} γ_{pag q} S_{pag} (ω_{yo}) S_{q} (norte) \end{aligned}

$\begin{align} f(\omega_i,\omega_o,n) &= \sum_{k,l,m=0}^\infty \alpha_{klm} S_k(\omega_i)S_l(\omega_o) S_m(n) \\ L(\omega_i ) &= \sum_{n=0}^\infty \beta_n S_n(\omega) \\ (\omega_i\cdot n)^+ &= \sum_{p,q=0}^\infty \gamma_{pq} S_p(\omega_i)S_q(n) \end{align}$

yo = \sum_{k, l, metro, norte, pag, q = 0 0}^{\infty} α_{k l metro} β_{norte} γ_{pag q} S_{l} (ω_{o}) S_{metro} (norte) S_{q} (norte) \int_{S^{2}} S_{k} (ω_{yo}) S_{norte} (ω) S_{pag} (ω_{yo}) re ω_{yo}

$I = \sum_{k,l,m,n,p,q=0}^\infty \alpha_{klm} \beta_n \gamma_{pq} S_l(\omega_o) S_m(n) S_q(n) \int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

En realidad, ya no necesitamos Monte Carlo porque podemos calcular los valores de las integrales antemano y luego evaluar la suma (en realidad aproximada suma, sumaríamos solo los primeros términos) y obtenemos el resultado deseado. $\int_{S^2} S_k(\omega_i) S_n(\omega) S_p(\omega_i) d\omega_i$

Todo esto es bueno, pero es posible que no sepamos que las expansiones de BSDF o el mapa ambiental o las expansiones convergen muy lentamente, por lo tanto, tendríamos que tomar muchos términos en la suma para obtener una respuesta razonablemente precisa.

Entonces, la idea no es expandirse en todos los argumentos. Un método que podría valer la pena investigar sería ignorar BSDF y expandir solo el mapa ambiental, es decir, esto conduciría a pdf:

L (ω_{yo}) \approx \sum_{norte = 0 0}^{K} β_{norte} S_{norte} (ω_{yo})

$L(\omega_i) \approx \sum_{n=0}^K \beta_n S_n(\omega_i)$

pag (ω_{yo}) \sim \sum_{norte = 0 0}^{K} β_{norte} S_{norte} (ω_{yo}) (ω \cdot norte)^{+}

$p(\omega_i) \sim \sum_{n=0}^K \beta_n S_n(\omega_i) (\omega \cdot n)^+$

Ya sabemos cómo hacer esto para , esto no es más que el método uno . Supongo que se hace en uno de los documentos para más alto . $K=0$ $K$

Extensiones adicionales. Puede expandir diferentes funciones en diferentes argumentos y hacer cosas similares a las anteriores. Otra cosa es que puede expandirse de manera diferente, es decir, no use armónicos esféricos sino diferentes funciones.

Así que esta es mi opinión sobre el tema, espero que lo haya encontrado al menos un poco útil y ahora me voy a GoT y me acuesto.

— tom
fuente

Jaja, cuando publiqué la respuesta, SE me preguntó si soy un humano o un robot, el sitio no estaba seguro: espero que no sea por la longitud de la respuesta, se me salió un poco de las manos.

— tom

quieres que mi cerebro se derrita, ¿no? ;-) Por cierto: ya logré leer dos de los documentos / presentaciones, así que espero extender la pregunta o escribir una respuesta superficial al final de esta semana. Y ahora, GoT FTW!

— ivokabel

0

Si bien los métodos de muestreo del producto proporcionan una mejor distribución (perfecta) de los rayos, diría que el uso de MIS (muestreo de importancia múltiple) es un método verificado en la producción. Dado que la información de sombreado es desconocida, el muestreo del producto no se vuelve perfecto de todos modos y es bastante difícil de implicar. ¡Disparar más rayos podría valer más! Depende de su situación y presupuestos de rayos, por supuesto!

Breve descripción de MIS: en esencia, trazas un rayo BSDF (como lo harías de todos modos para hacer una iluminación indirecta) y un rayo explícito hacia el EM. MIS le brinda pesos para que pueda combinarlos de una manera que elimine mucho ruido. MIS es especialmente bueno para elegir la "técnica" (muestreo implícito o explícito) en función de la situación que se presenta. Esto sucede naturalmente sin que el usuario tenga que tomar decisiones difíciles basadas en la aspereza, etc.

El Capítulo 9 de http://graphics.stanford.edu/papers/veach_thesis/ cubre esto en detalle. Consulte también https://www.shadertoy.com/view/4sSXWt para ver una demostración de MIS en acción con luces de área.

— Anders
fuente

Sí, MIS es una técnica importante de producción verificada, que ayuda mucho y la uso en mi solución (supongo, debería haberlo dicho más claramente en la pregunta). Sin embargo, el rendimiento general de un estimador basado en MIS depende de la calidad de sus estrategias de muestreo parcial. Lo que estoy tratando de hacer aquí es mejorar una de las subestrategias para mejorar el rendimiento general del estimador. En mi experiencia, generalmente es más eficiente usar menos muestras de alta calidad de lo que puede ser más costoso de generar que las de baja calidad más fáciles de generar.

— ivokabel