Procesar imagen estereoscópica para convertir de 3D a 2D

Me pregunto si es posible tomar una imagen estereoscópica y sumarla de tal manera que sea una imagen monoscópica, con el punto de vista resultante en el centro de donde están realmente los dos puntos de vista.

Por ejemplo, si tuviera dos cámaras separadas aproximadamente 1 pie, cada una toma una imagen de un sujeto a 3 pies de distancia al mismo tiempo, ¿podría tomar las imágenes resultantes, procesarlas y hacer que la imagen resultante parezca como si fuera tomado de una tercera cámara colocada en el centro de las dos exteriores?

¿Existen herramientas para este tipo de interpolación? Recuerdo un par de escenas en la realización de The Matrix donde hablaron sobre completar los marcos de rotación, y solo tomó alrededor de 4 o 5 cámaras para manejar el disparo. (Para ser justos, también recuerdo la parte en la que tenían una gran variedad de cámaras, cada una filmando un cuadro).

es posible? Si es así, ¿qué herramientas utilizarías para hacerlo?

Probablemente, en la mayoría de los casos, podría reconstruir una imagen que parezca convincente, pero no puede recrear lo que realmente se ve desde un punto entre los puntos de vista.

Tomemos, por ejemplo, una imagen que se toma justo en frente de una cerca de madera, donde los dos puntos de vista están en el centro de un panel para que ambos solo vean el panel. Un punto de vista intermedio vería entre los paneles:

    ^
    |
--- | ---
 o  x  o

Por supuesto, no es posible recrear lo que se ve entre los paneles a partir de las dos imágenes del panel.

En la mayoría de las imágenes habría ciertos ángulos que no se verían desde ningún punto de vista, pero se habrían visto desde un punto de vista en el medio. Una herramienta que crearía una imagen monoscópica tendría que adivinar lo que podría haberse visto.

Echa un vistazo a Piku Piku .

Por lo que puedo decir, usan algo como flujo óptico para encontrar píxeles coincidentes en las dos imágenes, luego usan la información de profundidad para hacer una vista interpolada, con una simple conjetura del vecino más cercano para los píxeles faltantes. Funciona bastante bien en imágenes estereoscópicas con las que lo he probado, y ofrece un efecto mejorado sobre la estereoscopía de meneo . Puede ver los píxeles rellenados y algunos errores en este ejemplo .

En general, esto se llama interpolación de vista .

En muchos casos, como la cerca de madera de Guffa, es imposible. En algunos otros casos, como un enfoque infinitamente distante, es trivial. Para todo lo demás, es muy, muy difícil. Hay piezas de software para hacerlo, incluido el firmware en Kinect. El truco es que tienes que tomar las dos vistas y usarlas para producir un modelo 3D del mundo frente a la cámara, luego producir una vista de ese mundo desde el punto deseado.

Con algunos de los proyectos actuales de Kinect, puede mover el punto de vista virtual arbitrariamente, mirando la escena desde arriba o desde un lado. Cuanto más lejos se mueva de las cámaras, mayor será la información no disponible y, por lo tanto, habrá más huecos en la imagen resultante.