¿Cuál es el método más avanzado para tratar problemas de iluminación en sustracción de fondo?

He estado luchando por encontrar un enfoque bien citado para esto. Esencialmente, estoy experimentando con diferentes algoritmos de sustracción de fondo, pero ninguno parece funcionar bien cuando hay cambios de iluminación significativos (por ejemplo, desde una ventana en la escena obteniendo un resplandor significativo en momentos específicos).

La pregunta es simple (relativamente): ¿cuáles son los métodos más modernos para la sustracción de fondo con cambios repentinos de iluminación? Mi escenario es cámaras de vigilancia.

El enfoque estándar es utilizar una mezcla de gaussianos para modelar las diversas leyes que controlan la intensidad de un píxel. En este enfoque, a un píxel se le pueden asignar varias leyes normales (con diferente media y varianza), cada una de ellas modelará su valor en diferentes condiciones. Por supuesto, solo 1 Gaussiano necesita estar activo a la vez.

Si bien el número máximo de gaussianos en la mezcla es un parámetro (fijo), los parámetros de cada gaussiano se aprenden en línea. Puede encontrar una implementación de ejemplo en la biblioteca OpenCV .

Hace unos años, alguien (lo siento, ya no puedo encontrar el nombre) propuso un enfoque alternativo interesante: usar variaciones de la orientación del gradiente de la imagen en lugar de variaciones de las intensidades de luz. La orientación del gradiente tiene la ventaja de ser invariante en contraste, lo que lo hace más robusto a los cambios de iluminación. Intuitivamente, funciona porque la orientación del degradado está vinculada a las formas de la imagen, no a su color o luminosidad.

Este no es un enfoque "bien citado" o estado del arte para la sustracción de antecedentes en cualquier caso. Sin embargo, su segunda oración dice que estaba experimentando con diferentes enfoques , por lo que creo que lo que tengo que decir aún tendrá algún valor.

General sobre el enfoque:

Lo que propongo es una representación de imagen invariante de contraste , llamada Árbol de formas o Árbol de línea de nivel (desafortunadamente, hubo más nombres, aún no se decidieron por un nombre comúnmente aceptado).

La idea general en esa aplicación propuesta es construir una representación de contraste-invariante-ish de un par de imágenes$I_x$ y $I_y$, y luego busca las diferencias. La ventaja es que puede obtener , como salida, partes presentes en$I_y$ pero no en $I_x$(o viceversa) en comparación con las comparaciones de imágenes más simples , donde el resultado son todas las diferencias, es decir, todo lo que está presente en una de las imágenes y no en la otra .

Posible forma de usar con cámaras de seguridad:

Si su aplicación es una cámara de seguridad, entonces supongo que puede obtener algunas imágenes de verdad en buenas condiciones (iluminación uniforme, oclusiones bajas). Luego, podría construir un Árbol de Formas a partir de su imagen de verdad básica y luego usarlo para detectar nuevos objetos presentes en las imágenes actuales . Los árboles deberían ser similares, porque no se basan en niveles globales de píxeles grises, sino más bien en "contraste local": la pregunta principal que impulsa el proceso de construcción del árbol es si es más brillante / más oscuro que el entorno , y no qué tan brillante / oscuro ¿es .

Literatura:

Las últimas dos páginas de este documento son relevantes para su aplicación particular:

• P. Monasse, F. Guichard: Cálculo rápido de la representación de imagen invariante de contraste (2000)

  (documento relevante con ejemplo de aplicación)

Puede encontrar algunas referencias relevantes en mi respuesta aquí , pero ahora me parece que la breve descripción general que hice para esa respuesta está lejos de ser completa.

Los autores de ese artículo en particular también publicaron un folleto en la serie LNM sobre ese árbol en particular:

• V. Caselles, P. Monasse: Descripción geométrica de imágenes como mapas topográficos (2010)

  (folleto con muchos detalles)

Y finalmente, esos enfoques eran más teóricos que prácticos hasta hace solo unos días, porque el peor momento de construcción fue cuadrático en el número de píxeles de imagen. Ayer mismo, se presentó un algoritmo cuasi lineal que finalmente hace que el Árbol de las Formas sea utilizable en varias aplicaciones:

• T. Géraud, E. Carlinet, S. Crozet, L. Najman: un algoritmo cuasi lineal para calcular el árbol de formas de imágenes nD

  (implementación rápida)