Registro de imagen por segmentación

Los algoritmos de registro de imágenes generalmente se basan en características de puntos como SIFT (Transformación de características invariables a escala).

Vi algunas referencias a entidades de línea, pero me preguntaba si sería posible unir segmentos de imagen en lugar de puntos . Por ejemplo, fuente dada e imagen transformada:

ingrese la descripción de la imagen aquí

Puedo hacer detección de bordes, desenfoque y transformación de cuenca en cada uno:

ingrese la descripción de la imagen aquí

Lamentablemente, la segmentación resultó ser demasiado diferente en cada imagen para que coincida con segmentos individuales.

Vi algunos documentos sobre formas coincidentes y descriptores de formas que son invariables para las transformaciones afines, por lo que esta área parece ser prometedora ...

¿Hay algún método de segmentación más robusto para afinar (o incluso proyectar) deformaciones de la imagen?

local-features image-segmentation image-registration

— Libor
fuente

Mi sentido común me dice que las regiones más pequeñas son más robustas a las transformaciones globales. Por lo tanto, la segmentación debe tener muchos segmentos pequeños. Además, algunas formas particulares son invariables a algunas transformaciones (como círculos a rotaciones)

— Andrey Rubshtein

MSER (regiones extremas máximamente estables) son regiones, no puntos. Y son invariables para la transformación afín. Pero no es un método de segmentación, estrictamente hablando.

— Niki Estner

@nikie Si pones tu comentario como respuesta, lo aceptaría. Estaba interesado en la segmentación, ya que las características de la región contienen información sobre la transformación de imágenes y podrían utilizarse para adivinar la transformación entre imágenes. Ciertamente estudiaré el artículo sobre MSER.

— Libor

Actualmente estoy trabajando en CBIR usando componentes de árboles. La representación del árbol de componentes de una imagen no dependería tanto de las deformaciones (incluso proyectivas) de la imagen, los diferentes niveles permitirían comparaciones y operaciones hasta un nivel de detalle diferente, y deberían funcionar mejor que las técnicas actuales en imágenes de baja textura . Es solo un tema de investigación por ahora, recién comenzado, pero espero que haya algo en el enfoque, de lo contrario no me darían una subvención para hacer esto. Pero, si alguien más hizo algo en este sentido, podría ser útil.

— Penélope

@penelope Estos trabajos en CBIR también pueden ser útiles para el mosaico de imágenes (mi interés específico) donde tenemos un conjunto de imágenes con características similares. El enfoque popular actual es la búsqueda de alta dimensión sobre descriptores de puntos (por ejemplo, SIFT), que puede conducir a falsas coincidencias entre imágenes, mientras que las "regiones" o los "componentes" en lugar de los puntos pueden discriminarlos. ¿Tiene alguna referencia a documentos sobre la representación de imágenes del Árbol de componentes? Muchas gracias.

— Libor

Respuestas:

MSER (regiones extremas máximamente estables) son regiones, no puntos. Y son invariables para la transformación afín. Pero no es un método de segmentación, estrictamente hablando

Hablando informalmente, la idea es encontrar blobs en varios umbrales, luego seleccionar los blobs que tienen el menor cambio en forma / área en un rango de umbrales. Estas regiones deben ser estables para una amplia gama de transformaciones geométricas y en escala de grises.

— Niki Estner
fuente

Actualmente estoy trabajando en CBIR usando componentes de árboles , lo que debería ser una idea relativamente nueva. Algunas ventajas esperadas del uso de árboles de componentes para describir imágenes serían:

La representación del árbol de componentes de una imagen no dependería tanto de las deformaciones (incluso proyectivas) de la imagen.
Examinar diferentes niveles del árbol permitiría comparaciones y operaciones hasta un nivel diferente de detalle.
La discriminación y la descripción deberían funcionar mejor que las técnicas actuales en imágenes de baja textura.

Como recién comencé con la investigación relacionada con este tema, tengo una idea vaga de mis objetivos: representar la imagen con el Árbol de componentes y luego comparar dichos Árboles de componentes, ya sea directamente o encontrando una representación vectorizada. Probablemente podré decir mucho más en unas pocas semanas (o meses), pero por ahora solo puedo ofrecer la lista de documentos que me recomendaron como introducción a los árboles de componentes (todavía no los he leído):

Tal vez pueda actualizar la respuesta como y si encuentro algo relevante.

Además, si su objetivo es, en cierto modo, unir con mayor precisión las regiones de la imagen en lugar de solo puntos , porque las regiones podrían ser más discriminatorias, hubo una sugerencia agradable en J. Sivic y A. Zisserman: "Video Google: A Text Retrieval Enfoque de coincidencia de objetos en videos " .

Me refiero a la sección que trata sobre la Consistencia espacial , donde un grupo de coincidencias entre puntos de características se acepta solo si los puntos de características mantienen una configuración espacial similar en ambas imágenes. Por lo tanto, la coincidencia no solo depende del tipo de característica extraída (DoG, MSER, ...) o del descriptor (SIFT), sino que también examina el entorno más amplio de un punto de característica, haciéndolo (al menos un poco) dependiente de la región.

— penelope
fuente