¿Podría ser posible una configuración de "exposición universal"?

No estoy seguro de cuán incierta es esta pregunta, pero estoy interesado en aprender, así que gracias de antemano por su indulgencia.

La película cambia físicamente durante el período de tiempo que está expuesta. Sin embargo, un sensor digital no lo hace; es solo leer datos. ¿Hay alguna razón por la cual no se pueda hacer que la cámara "recuerde" cuáles eran las lecturas del sensor en cada punto de exposición? Son solo datos. Puede ser una gran cantidad de datos, pero hay veces que uno podría querer hacer eso, ¿no? Dando mucha más flexibilidad en el procesamiento posterior.

Si el almacenamiento de datos no fuera un problema, ¿hay alguna razón para que esta no sea la norma, al menos para la fotografía profesional y artística?

Un sensor digital no se describe mejor como "lectura de datos". Una forma mucho mejor de describirlo es "recolectar fotones" que luego se convierten en datos midiendo las cargas eléctricas microscópicas que producen una vez que finaliza el período de recolección . No tienen la capacidad de registrar continuamente el estado cambiante de cada píxel a medida que recogen la luz. Y dependiendo de cuán poca o cuánta luz esté cayendo sobre el sensor, podría llevar mucho tiempo que suficientes fotones golpeen el sensor antes de que se genere algo más que datos aleatorios. Por otro lado, con luz muy brillante, a veces todos los pozos de píxeles se pueden llenar tan rápido que se pierden los fotones adicionales que caen sobre el sensor.

En el primer escenario, no se recolectan suficientes fotones para crear un patrón discernible a través del "ruido" generado por la energía que fluye a través del sensor que se utiliza para recolectar los voltajes creados por los fotones que caen en los pozos de píxeles. Por lo tanto, no se recopila información utilizable. Toda su foto es oscura con manchas aleatorias de color y luz.

En el segundo escenario, se recogen tantos fotones que cada píxel se lee en el mismo valor máximo, llamado saturación total, y dado que cada píxel de la imagen tiene el mismo valor, no se ha conservado información utilizable. Toda tu foto es blanca brillante y sólida.

Es solo cuando suficientes fotones golpean un sensor que las áreas con más fotones por unidad de tiempo tienen un valor de lectura más alto que las áreas con menos fotones que los golpean por unidad de tiempo. Solo entonces el sensor ha recopilado información significativa que puede diferenciar entre áreas de brillo variable.

Imagine colocar varios cubos de agua en su jardín para recoger las gotas de lluvia. Imagina que todos tienen un poco de agua pero la tiras antes de colocarla. Algunos se colocan debajo del alero del techo de su casa. Algunos se colocan debajo de grandes árboles en su patio. Algunos se colocan al aire libre. Algunos se colocan debajo de la boquilla que arroja el agua de las canaletas al patio. Entonces comienza a llover.

Digamos que solo llueve por un tiempo muy corto: 15 segundos. Hay algunas gotas de agua en cada cubo. Pero no hay suficiente agua en cada balde para poder saber si cada balde pudo haber caído más agua de lluvia o si solo le quedaron algunas gotas más cuando arrojó el agua antes de poner los baldes. en la yarda. Como no tiene suficientes datos para poder determinar cuánta lluvia cayó en qué partes del patio, tira todos los cubos y espera a que llueva nuevamente.

Esta vez llueve durante varios días. Para cuando deja de llover, cada cubo en el patio se está desbordando. Aunque está bastante seguro de que algunos cubos se llenaron más rápido que otros, no tiene forma de saber qué cubos se llenaron más rápido y cuáles se llenaron al final. Por lo tanto, debe volcar los cubos nuevamente y esperar a que llueva más.

En su tercer intento, llueve durante tres horas y luego deja de llover. Sales al patio e inspeccionas tus cubos. ¡Algunos están casi llenos! ¡Algunos apenas tienen agua en ellos! La mayoría tiene cantidades variables de agua entre los dos extremos. Ahora puede usar la ubicación de cada cubo para determinar cuánta lluvia cayó en cada área de su jardín.

La razón por la que modificamos la exposición en las cámaras digitales es para intentar recolectar suficiente luz para que las áreas más brillantes estén casi, pero no del todo, saturadas.Idealmente, esto ocurre con la cámara con la sensibilidad ISO base. A veces, sin embargo, no hay suficiente luz para hacer esto. Incluso con la mayor apertura disponible, no podemos recoger suficiente luz en el tiempo más largo que nos atrevamos a dejar el obturador abierto (debido al movimiento de nuestros sujetos). Lo que hacemos en este caso es ajustar la configuración de ISO en nuestra cámara para que todos los valores que salen del sensor se multipliquen en un factor que lleve los valores más altos a un punto en el que están casi, pero no completamente saturados. Desafortunadamente, cuando amplificamos la señal (los voltajes creados por los fotones que aterrizan en pozos de píxeles) también amplificamos el ruido (los voltajes desiguales aleatorios producidos por la corriente utilizada para recoger los voltajes de cada pozo de píxeles). Esto da como resultado una relación señal-ruido más baja lo que disminuye la cantidad de detalles que podemos crear a partir de los datos que hemos recopilado del sensor.

Existen otras limitaciones técnicas que impiden que las cámaras mantengan un "total de funcionamiento" de la cantidad de fotones recolectados a varios intervalos mientras el obturador está abierto. Arroje suficiente dinero al problema y algunas de esas limitaciones pueden superarse, al menos parcialmente. Pero, o las leyes de la física tendrían que cambiar o debemos cambiar por completo la forma en que los sensores cuentan los fotones antes de que se puedan superar otras limitaciones. Eventualmente, la tecnología en algunos o todos estos dispositivos podría reemplazar la forma en que actualmente capturamos imágenes de muy alta calidad, pero aún no estamos cerca de allí.

Ya tenemos algo de la tecnología para esto. Nuestro término para recordar las lecturas del sensor en cada punto de exposición es "video", y lo que está pidiendo es la reconstrucción de una imagen fija óptima a partir de múltiples cuadros de video.

Para obtener una descripción general del trabajo de Microsoft Research sobre esto, comience aquí: http://research.microsoft.com/en-us/um/redmond/groups/ivm/multiimagefusion/

Para ver un ejemplo disponible, consulte la aplicación Synthcam, que puede usarse para reducir el ruido con poca luz combinando cuadros de video tomados con una cámara de teléfono: https://sites.google.com/site/marclevoy/

Esto está muy lejos de ser práctico para la fotografía cotidiana, pero es concebible que las futuras cámaras filmen muchos cuadros de video de alta definición y alta velocidad de cuadro, lo que permite al fotógrafo lograr el resultado deseado seleccionando y combinando más tarde.

Actualización de finales de 2016: cuando escribí la respuesta original, esto estaba lejos del mercado. A finales de 2016 parece mucho más cerca. La aplicación "See In The Dark" de Marc Levoy integra múltiples cuadros de video con estabilización en un teléfono inteligente de consumo para producir imágenes utilizables a la luz de la luna. Vea también la cámara Light L16 , que integra múltiples sensores pequeños en una sola imagen.

La pregunta original se basa en una suposición incorrecta (acerca de que el sensor digital no cambia de estado durante la exposición), pero el concepto está relacionado con la idea del sensor de imagen Quanta (QIS) investigada por Eric Fossum .

http://engineering.dartmouth.edu/research/advanced-image-sensors-and-camera-systems/

El QIS es un cambio revolucionario en la forma en que recopilamos imágenes en una cámara que se está inventando en Dartmouth. En el QIS, el objetivo es contar cada fotón que golpea el sensor de imagen, y proporcionar una resolución de mil millones o más de fotoelementos especializados (llamados jots) por sensor, y leer planos de bits de jot cientos o miles de veces por segundo resultante en terabits / seg de datos.

Tal dispositivo sería (citando la pregunta)

"recuerde" cuáles eran las lecturas del sensor en cada punto de exposición

y tener el conjunto de datos completo podríamos, por ejemplo, "cambiar" el tiempo de exposición efectivo después de capturar la "fotografía".

Hoy en día, esto puede aproximarse al grabar un video y combinar fotogramas en el proceso posterior para simular tiempos de exposición más largos (limitado por el rendimiento de la cámara, la resolución del modo de video y la velocidad de obturación, pero muestra la idea)

Si el QIS funciona según lo prometido, también presentaría otras características interesantes, como un mejor rendimiento con poca luz, un mayor rango dinámico, sin alias, sensibilidad completamente personalizable (por ejemplo, similar a una película), sin configuraciones ISO, resolución ajustable frente a ruido

Anuncio reciente: http://phys.org/news/2015-09-breakthrough-photography.html

La película cambia físicamente durante el período de tiempo que está expuesta. Sin embargo, un sensor digital no lo hace; es solo leer datos.

Eso realmente depende del tipo de sensor. El tipo de sensores CMOS que se usan en las DSLR de hoy en día acumulan una carga eléctrica en cada píxel con el tiempo, por lo que, de hecho, cambian con el tiempo de forma muy similar a la película. Si no funcionaran de esa manera, la imagen existiría solo mientras el obturador estuviera abierto. Los sensores CCD (la otra tecnología común para sensores de imagen en cámaras) también funcionan de esta manera, acumulando luz con el tiempo.

¿Hay alguna razón por la cual no se pueda hacer que la cámara "recuerde" cuáles eran las lecturas del sensor en cada punto de exposición?

Eso es exactamente lo que hace la cámara cuando graba una imagen. Sin embargo, creo que lo que quiere decir es que si el sensor pudiera leer la intensidad de la luz instantánea, entonces podría ajustar la exposición después del hecho al valor que desee. Como se explicó anteriormente, no es así como funcionan la mayoría de los sensores de imagen. Por otro lado, nos podemos ya menudo qué ajustar la exposición un poco en post-procesamiento.

Si el almacenamiento de datos no fuera un problema, ¿hay alguna razón para que esta no sea la norma, al menos para la fotografía profesional y artística?

En cuanto a "recordar" los datos del sensor, es la norma para muchos fotógrafos. La mayoría de las cámaras le permiten grabar imágenes en formato "RAW", y esto es más o menos la información, ya que se lee desde el sensor más un poco más de información sobre la configuración de la cámara en ese momento. Las imágenes RAW ocupan mucho más espacio que otros formatos como JPEG, pero le dan al fotógrafo la libertad de volver a interpretar los datos más adelante, para que pueda cambiar fácilmente configuraciones como la temperatura del color y el balance de blancos en el procesamiento posterior.

Otros ya han explicado por qué esto no funcionará, técnicamente. Quiero mencionar por qué no funcionaría prácticamente .

Si el almacenamiento de datos no fuera un problema, ¿hay alguna razón para que esta no sea la norma, al menos para la fotografía profesional y artística?

Considere la magnitud de las diferentes condiciones de iluminación de las que podemos querer tomar fotografías. Incluso ignorando los extremos como la astrofotografía (donde a menudo se fotografían pequeñas manchas de luz rodeadas de un negro casi total), todavía se tienen fotografías terrestres nocturnas o nocturnas y paisajes de invierno nevados y brillantes. Voy a usar los dos últimos como ejemplos.

Además, voy a suponer que para recrear con precisión cualquier exposición deseada, tenemos que exponer el sensor al punto de saturación total.

Además, voy a suponer que podemos leer los valores del sensor de una manera no destructiva. (Este es probablemente uno de esos problemas que caen en la categoría de "arrojar suficiente dinero al problema y podría resolverse").

En el caso de la fotografía nocturna, tendríamos que exponga el sensor para un muy largo tiempo para saturar todos los píxeles, lo que significa que cualquier foto, sin importar lo que realmente queremos una foto de, va a tomar absurdamente largo para tomar. La clásica imagen turística de bailarines en un bar al aire libre se vuelve casi imposible porque, bueno, es posible que puedas tomar algunas de ellas durante toda la noche. No está bien. Por lo tanto, no podemos exponernos a la saturación, al menos no indiscriminadamente. (La exposición a cierto porcentaje de píxeles saturados es igualmente inútil, pero por diferentes razones; intente obtener la exposición exactamente correcta al tomar una fotografía de una chimenea con un fuego encendido. Eso es casi imposible; no importa cuánto lo intente, algunos los píxeles serán exagerados o grandes franjas de la imagen estarán terriblemente subexpuestas).

Al fotografiar un paisaje nevado iluminado, como una vista de invierno durante el día cuando sale el sol, la exposición a la que apunta el sistema de exposición automática de la cámara ("18% gris") es lamentablemente inadecuada. Es por eso que a menudo ves fotos de nieve que son oscuras, y donde la nieve parece más gris claro que blanca. Debido a esto, a menudo utilizamos una configuración de compensación de exposición positiva que hace que la nieve quede expuesta como un blanco casi saturado. Sin embargo, esto significa que no podemos confiar en el sistema AE de la cámara para determinar cuándo finalizar la exposición: si lo hacemos, tales imágenes estarán invariablemente subexpuestas .

En otras palabras, la exposición a la saturación total no es práctica en muchos casos, y la exposición para hacer feliz al sistema de EA es inadecuada en muchos casos. Esto significa que el fotógrafo aún tendrá que hacer algún tipo de elección, y en ese punto, al menos estamos en la mejor situación con lo que tenemos y los fotógrafos a los que estamos acostumbrados, haciendo que los sistemas de AE ​​sean mejores y que el fotógrafo sea más fácil ( más fácil?) acceso a la configuración de compensación de exposición. Al aumentar el rango dinámico prácticamente utilizable del sensor, podemos permitir (incluso) una mayor latitud en los cambios de exposición en el procesamiento posterior; Las réflex digitales originales eran terriblemente caras, pero realmente horribles en este sentido en comparación con los modelos de nivel de entrada actuales.

Todo lo cual se puede hacer completamente dentro del marco de lo que ya tenemos. Esto no quiere decir que mejorar drásticamente el rango dinámico utilizable del sensor sea fácil , pero probablemente sea mucho más fácil de lo que está proponiendo, y es un problema en el que los proveedores tienen experiencia trabajando.

Los profesionales, casi por definición, saben cómo usar el equipo de su oficio. Realmente no es diferente si son fotógrafos o pilotos de transbordadores espaciales . Especialmente cuando se puede hacer sin causar una sobrecarga de información, generalmente es mejor darle al usuario el control total del equipo profesional. En mi opinión, las réflex digitales de gama alta actuales son bastante buenas para alcanzar el punto óptimo en esto.

Simplifiquemos el problema para comprender por qué siempre tendremos que hacer compromisos.

Inventemos la cámara que desea, pero con un solo píxel monocromo. Debe poder recibir y notificar de manera confiable al procesador la recepción de un solo fotón. También debe ser capaz de recibir y notificar al procesador la recepción de fotones, infinitamente infinitos, prácticamente hablando.

El primer caso en una situación donde no hay luz. El segundo en el caso de incluso una cantidad moderada de luz.

El problema principal es que simplemente no tenemos la tecnología para crear un sensor con un rango dinámico tan amplio. Siempre vamos a tener que comprometernos, y en este momento estamos comprometidos seleccionando un rango más alto donde el sensor puede aceptar fotones casi infinitos y nos da una lectura que sugiere una cantidad relativa de luz que golpea el sensor. No los cuenta en absoluto, pero actúa como lo hacen nuestros ojos: simplemente dan una salida que es relativa a la cantidad de fotones que los golpean, sin intentar contarlos.

Esto se complica aún más por el hecho de que esto se recopila con el tiempo.

Un sensor ideal en realidad sería más como un contador geiger: medir el tiempo entre fotones para darnos una medición casi instantánea de la cantidad de luz que cae sobre el sensor, suponiendo que los fotones estén relativamente espaciados de manera uniforme (lo cual no es cierto, pero es una suposición conveniente, y por qué los contadores geiger promedian con el tiempo al igual que las cámaras)

Los sensores cuánticos tendrían esencialmente el mismo problema. Claro, pueden sentir un fotón individual, pero en algún momento vienen lo suficientemente rápido como para que simplemente no se pueda medir el tiempo entre ellos, o incluso contar cuántos vienen por período de exposición.

Por lo tanto, tenemos este compromiso que requiere que tomemos varias imágenes de varias exposiciones, o agreguemos varias imágenes de la misma exposición alta para eliminar las áreas de poca luz, o dividir la luz entrante en dos o más caminos con diferentes sensores de diferente dinámica rango, o construir sensores que puedan agrupar píxeles o apilar sensores de luz, o, o, o - hay literalmente miles de formas en que los fotógrafos han superado este problema básico a lo largo de las décadas con una amplia variedad de medios.

Es una limitación física que no es probable que se supere. Nunca vamos a tener una cámara * sin entrada del fotógrafo que permita tomar todas las decisiones en el procesamiento posterior.

* _{Por supuesto, si cambia la definición de cámara, entonces podría estar satisfecho con los resultados de otros procesos, pero esto es en gran medida subjetivo. La realidad es que si imagina una escena con su cámara, luego le muestra la escena a una persona, luego la imagen que tomó, percibirá diferencias debido a diferencias inherentes entre sus ojos, su sensor de imagen y el proceso que utilizó para imprimir la imagen. La fotografía tiene tanto que ver con la interpretación y el arte como con la captura de luz, por lo que un enfoque fanático de la "cámara perfecta" probablemente no sea muy útil.}