Mejora de la resolución de imagen CSI: ¿Qué tan real es?

Así que vi el siguiente clip de Youtube de 1 minuto de duración de CSI Nueva York . En el clip, usando lo que parece ser la grabación de una cámara de banco estándar, acercan al menos 100 y ven la imagen del culpable en el reflejo del ojo de la niña.

Ahora, pensé que esto era completamente ridículo, tanto que pensé que en realidad era realmente divertido.

Sin embargo, mi amigo argumentó que hay muy buenos trucos para mejorar la imagen, como la "súper resolución", un procedimiento en el que varios cuadros de un video producen una imagen de resolución única mucho más alta. Pensó que el programa dobla la verdad bastante, pero ¿cuánto?

Honestamente, en realidad no sé nada sobre estas cosas, así que mi pregunta es:

¿Qué tan buena es la mejora de la resolución de imagen moderna? Además, ¿a qué distancia están los programas de televisión CSI?

Gracias,

Observación: Esta es una publicación cruzada en el sitio de Skeptics. Me dijeron que podría recibir mejores respuestas aquí.

Respuesta corta: puede obtener algunos muy buenos resultados, pero solo bajo ciertas condiciones y ni siquiera cerca de lo que se muestra en el video clip vinculado.

Mi compañía, Amped Software , desarrolla software de procesamiento de imagen y video para aplicaciones forenses y de inteligencia, por lo que básicamente somos la contraparte real del software CSI.

Con referencia al problema general de la mejora de la calidad, puedo decirles que para nuestro mercado es un gran problema cumplir con las expectativas creadas por las series de televisión y las películas de Hollywood. Puede ver en nuestra página de muestras que a veces los resultados que podemos obtener son realmente sorprendentes, pero es importante comprender que solo podemos obtenerlos bajo ciertas condiciones: si hay información que está cubierta por disturbios, pero está ahí , podemos recuperarlo. Si no hay información, no podemos y no debemos recrearla. En esta aplicación en particular es esencial no solo obtener los resultados desde un punto de vista visual, sino también seguir un flujo de trabajo científico que debe ser aceptado por el tribunal .

El año pasado presenté una investigación que describe problemas y resultados en casi 200 casos en los que he trabajado y el resultado final fue el siguiente:

• en más del 50% de los casos no hay nada que hacer (por ejemplo, recuperar una placa de 5x2 píxeles es completamente imposible con cualquier software en el mundo);
• en aproximadamente el 30% de los casos podemos obtener algunos resultados pequeños (por ejemplo, restaurar alguna letra de una placa o mejorar la apariencia general de una cara);
• en el 10% de los casos obtienes buenos resultados (obtienes la mayor parte de la placa, por ejemplo).

Tenga en cuenta que todos estos casos tuvieron graves problemas de calidad. Si su calidad era buena, no nos pidieron que trabajáramos en ellos.

En lo que respecta específicamente a la mejora de la resolución :

• cuando hace zoom en una imagen, está interpolando píxeles faltantes: desde una sola imagen puede mejorar visualmente la apariencia de la imagen, pero no agregará ningún detalle real ;
• Las técnicas de superresolución pueden arrojar buenos resultados bajo ciertas condiciones: debe tener suficientes cuadros, desplazados por una cantidad no entera de píxeles y preferiblemente con pocos artefactos de compresión. En el mejor de los casos, puede esperar buenos resultados con un zoom de 2x y 3x.

Lo que se muestra en el videoclip solo puede ser posible si el video original se ha filmado a varios megapíxeles y luego tendrá la resolución de acercarse mucho (más o menos como lo hace en Google Maps). Por supuesto, en ese punto todavía habría otros problemas, como el enfoque correcto, la condición de poca luz, el hecho de que la perspectiva del ojo es diferente de la de todo el sujeto en el video, solo por mencionar algunos.

No puedes hacer algo de la nada, tienes que tener (o adivinar) cierta información para poder mejorar una imagen de alguna manera. Por ejemplo, si conoce las propiedades de la función de desenfoque (y no hay ruido en la imagen), puede desenfocar una foto. Sin embargo, rara vez conoce la función de desenfoque y el ruido siempre está presente, lo que limita severamente lo que puede recuperar (Adobe demostró recientemente un filtro de desenfoque, pero su demostración fue con desenfoque sintético).

En resumen, CSI es casi pura ficción: las ganancias que son posibles en la vida real son marginales, nada como el aumento de 5 veces en la resolución que se presenta en la televisión.

Verificación de la cordura: si pudieran hacer todo eso, las personas no pagarían decenas de miles por cámaras Hasselblad de más de 40 MP, ¡sería más barato simplemente duplicar el software!

editar: de alguna manera no noté que la pregunta original mencionaba la súper resolución del video. La superresolución de imágenes múltiples es posible en realidad, pero solo hasta las limitaciones del sensor. Funciona mediante el uso de un conjunto de imágenes con desplazamientos de subpíxeles. Esto proporciona información de los valores entre píxeles, lo que le permite crear una imagen de mayor resolución. La súper resolución del video funciona porque un sujeto en movimiento crea el mismo tipo de cambios, sin embargo, la apariencia de los objetos no debe cambiar tanto entre fotogramas. En el mejor de los casos, la técnica solo le brinda los resultados de un sensor de mayor resolución, no puede superar los límites del poder de resolución de la lente, que sería bastante limitado con las lentes con especificaciones de CCTV.

Aquí hay un ejemplo de superresolución en buenas condiciones:

_{(fuente: wikimedia.org )}

imagen de photoacute.com

una mejora en la resolución, sí, pero aún no se acerca al rendimiento de nivel CSI.

Para hacer referencia a mi comentario anterior, los últimos Hasselblads realmente implementan la súper resolución de cambio de sensor, bajo el nombre de "captura múltiple", por lo que aún no puede vencer a los fabricantes de formato medio en su propio juego utilizando un software inteligente ...

Entonces esto es lo que tengo hasta ahora:

El área del ojo donde ven el baloncesto es de aproximadamente 1 milímetro cuadrado. Según la altura de la niña, podemos estimar con confianza que eso debería ser como máximo 1 millonésima parte del número total de píxeles en la pantalla. (El ancho y la altura de la imagen, aunque no están bien definidos para las fotografías ya que algo puede estar más cerca, se ve aproximadamente a 3 x 3 metros, lo que significaría 10 millones de milímetros cuadrados. Sin embargo, el ojo podría estar más cerca de la lente real de la cámara, por lo que Estoy estimando aproximadamente y divido por $ 10 $.)

Si la grabación fuera de calidad HD, eso solo sería de 2 megapíxeles, por lo que el baloncesto debería ser del tamaño de un solo píxel.

Creo que el razonamiento sin duda muestra que no es cierto, pero todavía me pregunto, ¿cuáles son los límites superiores en la mejora de la imagen?

Existe algún software disponible comercialmente, con Super Resolución. No he probado ninguno de estos, pero el material publicitario es bastante bueno. El software está dirigido a la vigilancia, la seguridad y las fuerzas armadas, pero supongo que algunas unidades forenses tendrán acceso a estas cosas.

Dos ejemplos son: Ikena de MotionDSP y TacitView de 2d3

La mejora de imagen / video al nivel sugerido en los programas de televisión simplemente no es posible, y en realidad está limitada por el dispositivo de captura de imágenes. Esa es la tecnología que necesitaría evolucionar primero.

Es imposible obtener información de una colección de 10 píxeles en un objeto reconocible. En el nivel de píxeles, esa es la cantidad final de información proporcionada en la imagen. Solo tiene 100 bloques de color en ese zoom finito. Puede aumentar un área de 10x10 píxeles en 100x100 píxeles mediante interpolación, pero la información en los 10x10 píxeles es suficiente, y la interpolación se basa en suposiciones educadas basadas en esos 10 x 10 píxeles por el software. El resultado sería un desenfoque de 100 x 100 píxeles. Alternativamente, tome una imagen de 2000x2000 píxeles, e interpole hasta 4000x4000 píxeles, y algunos desenfoques no tan claros en la imagen original pueden verse más claros como posibles objetos en la imagen más grande simplemente a través de pareidolia, pero incluso eso es una suposición o suposición. La imagen interpolada daría la "ilusión" de más detalles,

La mejora de la imagen se basa únicamente en la cantidad máxima de información capturada a través de la fuente de imagen original, y el zoom en píxeles es todo lo que hay. Algunas cámaras pueden tomar imágenes de muy buena resolución, pero ninguna pieza de software puede mostrar detalles que no estén grabados en la imagen original.

Ahora, para volver a los shows de CSI, la mayoría de ellos capturan el metraje de su cámara de vigilancia estándar, que para empezar no tiene una resolución particularmente alta de todos modos en la vida real, así que cuando veo este tipo de mejora en los shows, me hace reír - ya que es imposible incluso con la forma más avanzada de software de edición de imágenes (y PhotoShop está muy bien en el extremo superior de la escala avanzada). La mejora de la imagen y el zoom dependen al 100% de la información capturada por el dispositivo de imágenes, por lo que una cámara de vigilancia capaz de capturar, digamos, un reflejo de la cara de una persona en el costado de la córnea del ojo de una persona, necesitaría ser súper potente y ser exageradamente caro. . El metraje necesitaría tener una definición de píxeles escandalosamente alta por fotograma (digamos 100 megapíxeles o aproximadamente 9,5 terabytes para almacenar 1 segundo de metraje), lo que volaría el tamaño del archivo hasta el punto de que cada cámara de vigilancia necesitaría una pequeña granja de servidores para almacenar 24 horas de material de archivo. Muy caro. La tecnología de mejora resultante dependería de dispositivos de captura de imágenes capaces de hacer este nivel de captura detallada de video e imagen primero, para almacenar los datos de una manera conveniente, y llegar a un punto en que esto sea económico para desplegar en las ciudades. El tamaño del archivo sería tan grande en el metraje de video (recuerde aproximadamente 9.5 terabytes por segundo) que el software capaz de hacer esto necesitaría una supercomputadora extremadamente potente (para los estándares actuales) para ejecutarse. Con la tecnología aumentando a la velocidad que es, esto puede ser posible en algún momento en el futuro, probablemente en nuestra vida. Solo entonces podrían hacerlo, pero las imágenes no se mejorarían, solo estarían haciendo zoom en imágenes súper detalladas. Sé esto mientras trabajo en imágenes digitales para vivir a tiempo completo.