Técnicas de segmentación de imágenes modernas más comunes

Estaba leyendo algunas técnicas de segmentación de imágenes y me preguntaba acerca de los algoritmos de segmentación modernos y modernos.

¿Qué técnicas de segmentación actuales son de 'lectura obligada', es decir, las que se usan actualmente más comúnmente en la comunidad? ¿Con qué técnicas entró en contacto y le resultó más eficaz y útil (y para qué aplicación)?

No conozco muchas técnicas de segmentación, pero he estado tratando con estructuras que ofrecen una "elección" de piezas de segmentación que pueden examinarse más a fondo para producir una segmentación satisfactoria.

Esperemos que alguien más pueda escribir sobre algún método de segmentación de última generación que no conozco mucho.

Una pequeña introducción de por qué es bueno tener opciones o niveles de segmentación para una imagen diferente: la segmentación es un problema mal definido . La verdad fundamental no existe: los resultados deseados siempre dependen de los requisitos y especificaciones del usuario. Una buena cita:

Incluso para una imagen fija, puede haber más de una "mejor" segmentación porque los criterios que definen la calidad de una segmentación dependen de la aplicación. Esto nos motivó a centrar nuestra investigación en técnicas de partición de imágenes que ofrecen "piezas de rompecabezas" que se pueden usar (...) para generar una segmentación que satisfaga los requisitos específicos del usuario

( P. Soille: Conectividad restringida para la partición y simplificación jerárquica de imágenes (2008) )

Hay estructuras jerárquicas , descomposiciones jerárquicas de imágenes que proponen particiones de imágenes con diversas complejidades. Estas estructuras se representan más simplemente como estructuras de árbol, donde cada nodo representa una región en la imagen. La idea con las estructuras:

• las hojas de la estructura son regiones de una partición fina, o sobre segmentación de una imagen (p. ej. píxeles, zonas planas - regiones conectadas de la misma intensidad, cuenca )
• los enlaces en el árbol representan la fusión o unión de regiones (vecinas) y forman una región más compleja, y están construidos de la manera más probable para producir regiones correspondientes a objetos (con suerte :))
• La complejidad de las regiones aumenta a lo largo de cada rama desde los nodos hacia la raíz del árbol.
• cada nivel del árbol (también, cada corte) es una partición / segmentación de una imagen (más gruesa cuanto más cerca está de la raíz)
• la raíz del árbol cubre todo el dominio de la imagen

La segmentación consiste en examinar las regiones y sus uniones propuestas, para determinar las regiones en el árbol o el corte del árbol correspondiente a la precisión requerida , o algunas propiedades conocidas sobre el objeto de interés, u otras especificaciones de usuario predefinidas.

Los árboles (es decir, descomposiciones jerárquicas de imágenes) con tales propiedades son:

• $\alpha$ -trees
• $(\omega)$ -árboles
• Árboles de partición binarios (destinados a la segmentación y detección de objetos )

Además de los enlaces a documentos ya proporcionados, algunos documentos actuales más específicos y menos específicos sobre este tipo de técnicas de segmentación:

• Cousty, J., Najman, L .: Algoritmo incremental para bosques jerárquicos de extensión mínima y saliencia de cortes de cuencas (2011)
• Soille, P., Grazzini, J .: Conectividad restringida y regiones de transición (2009)

(mas practico):

• Serna, A., Marcotegui, B .: Reconstrucción controlada por atributos y morfología matemática adaptativa (2013)
• Merciol, F., Lefèvre, S .: Segmentación rápida de imágenes y videos basada en la representación multiescala del árbol alfa (2012)

Como una adición a la respuesta de Penélope , dos familias populares (y modernas) de algoritmos.

Superpíxeles

Una familia muy popular de algoritmos llamada Superpixels está muy de moda en este momento (incluso hay algunas sesiones de Superpixel en conferencias de CV). Los superpíxeles se parecen mucho a la segmentación excesiva (como lo que le da la cuenca hidrográfica), por lo que se requiere algo de procesamiento posterior.

Los superpíxeles se pueden ver como pequeñas regiones de imágenes homogéneas . La distancia entre píxeles se evalúa como en el filtrado bilateral, es decir, es una mezcla entre su distancia espacial y su similitud visual que llega a 0 cuando están cerca y son similares y, de lo contrario, a un valor mayor.
Luego, los métodos de superpíxeles prueban varios criterios para formar pequeñas regiones homogéneas con respecto a esta medida. Hay muchos de ellos (basados ​​en gráficos, búsqueda de modo / agrupación basada en ...), así que supongo que es mejor remitirlo a este informe técnico .

(editar :) En caso de que alguien esté buscando un trabajo revisado por pares publicado, este artículo es de los mismos autores y cubre el mismo material que el informe técnico: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: Superpíxeles SLIC comparados con los métodos de superpíxeles más modernos

Tenga en cuenta que, cuando escribí la primera versión de la respuesta, visualmente los resultados son muy similares a los que le proporciona la sobre segmentación de la cuenca. Esto lo confirman los autores del informe técnico que incluyen cuencas hidrográficas en la parte de trabajo relacionada. Por lo tanto, también debe hacer el mismo procesamiento posterior: si bien los superpíxeles pueden ser funciones útiles para usar en lugar de píxeles, aún deben agruparse para formar regiones de nivel superior si necesita rastrear / detectar objetos.

Métodos de segmentación basados ​​en gráficos

Otra familia popular de algoritmos proviene del análisis de la relación de píxeles, es decir, cómo los píxeles tienen una apariencia similar. Esto produce una familia de métodos de segmentación basados ​​en la teoría de gráficos, como el corte normalizado (J. Shi, J. Malik: cortes normalizados y segmentación de imagen ) .

Aquí está la intuición para este enfoque: suponga que sus píxeles ahora son puntos (vértices) de un gráfico de alta dimensión.
En el gráfico, dos vértices pueden estar conectados por un borde , cuyo peso es inversamente proporcional a cierta distancia entre los vértices. Típicamente, la función de peso será recíproca de una mezcla entre su distancia espacial y su similitud visual (como en el filtrado bilateral).
Entonces, teniendo en cuenta este gráfico, los algoritmos de segmentación pueden buscar los mejores grupos de vértices, es decir, grupos de vértices que tienen una pequeña intragrupo distancia y un gran extra-grupo distancia.

En el enfoque de corte normalizado, se toman algunas precauciones adicionales para evitar cualquier sesgo introducido por los diferentes tamaños de población de los grupos. Además, la exploración de gráficos puede evitarse calculando la SVD de la matriz de pesos, también conocida como matriz de conectividad en la teoría de gráficos.

Supongo que para una visión global de los algoritmos de vanguardia para la segmentación, uno necesita buscar las últimas encuestas. En el libro de Szeliski se presenta una buena visión global de los desafíos .