¿Por qué las cámaras no registran datos de luz en todo el obturador?

Lo siento si el título de la pregunta es confuso, no sé la mejor manera de expresarlo, así que siéntete libre de cambiarlo si puedes pensar en algo mejor. Aprendí que los obturadores electrónicos pueden capturar la imagen de una vez en lugar de usar un obturador mecánico que usa la cortina. Esto me dio una idea. Digamos que un disparo dado estaría expuesto adecuadamente a 1 / 200s, pero el rango dinámico de la imagen es demasiado amplio para que la cámara lo capture.

¿Por qué una cámara con un obturador electrónico captura y graba continuamente datos de luz de una imagen durante toda la duración del obturador en lugar de solo recopilar datos de luz y finalmente almacenarlos como una sola imagen? Sería como ver una habitación comenzar desde la oscuridad y aumentar gradualmente su brillo. La cámara podría capturar todo el rango dinámico de una imagen y compilar los datos en una imagen con todo el rango dinámico en una sola foto en lugar de necesitar múltiples exposiciones para un HDR. Esto también permitiría el ajuste de la exposición en el procesamiento posterior sin ninguna pérdida de información, ya que la cámara ha almacenado los datos de luz de un rango completo de exposiciones. ¿Por qué esta idea no se está implementando actualmente?

Se ha hecho en rayos X.

El TimePix es un detector de 256x256 . Tiene tres modos de funcionamiento :

• la habitual "energía total en este píxel desde que comenzamos a integrar";
• Time-over-Threshold (TOT): la altura del pulso detectado se registra en el contador de píxeles en el modo TOT; y
• Hora de llegada (TOA): el modo TOA mide el tiempo entre el disparo y la llegada de la radiación a cada píxel.

Esta tecnología se ha adaptado a la imagen óptica . El modo TOT se describe mejor como actuar como un ADC de Wilkinson: la lectura corresponde al tiempo total donde la carga acumulada está en el umbral o por encima de él. Restando esto del tiempo de obturación le dice cuánto tiempo le tomó a este píxel saturarse. Por lo tanto, para cada píxel, puede dibujar la línea de 0 a saturación con el tiempo desde que se abrió el obturador. Por lo tanto, puede elegir el tiempo de obturación virtual que desee (siempre que todos los píxeles estén saturados) y usar la línea de cada píxel para estimar su luz acumulada hasta ese tiempo de obturación virtual.

Una implementación más directa de su idea se ha realizado en CMOS. Cada píxel registra e informa su tiempo para alcanzar un umbral de carga. (En lugar de ADC, los píxeles que no se saturan en el tiempo, se barre el umbral, por lo que cada píxel finalmente excede un umbral suficientemente bajo).

Recuerdo que el Sistema Pixim Digital Pixel ( ejemplo ) también hizo esto usando un ADC por píxel y leyendo de forma no destructiva la carga acumulada repetidamente (para obtener la pendiente de acumulación). Pero no puedo encontrar evidencia actual que corrobore.

Te estás perdiendo algunos problemas obvios con esta idea.

Desea capturar "continuamente" los datos de luz, pero eso ya se está haciendo.

Aparentemente, quiere decir que tiene una serie de imágenes disponibles después de la exposición, cada una expuesta desde el principio hasta que avanza durante toda la exposición. Las imágenes posteriores tendrían más detalles en las áreas sombreadas, pero podrían tener áreas brillantes recortadas. El firmware de la cámara podría ensamblar una sola imagen con un rango dinámico más grande que cualquiera de las imágenes individuales.

Los dos problemas evidentes con esto son:

• cómo leer todos los millones de píxeles tan rápido y
• donde poner los resultados.

La tecnología no está disponible hoy para hacer eso.

Sugieres "O cada vez que un fotón golpea un píxel en el sensor, dale una marca de tiempo", esto sería una gran cantidad de datos. Una búsqueda rápida sugiere que cada píxel, o sensor, en una cámara digital se satura en algún lugar entre 20,000 y 100,000 fotones. Digamos que estamos contentos con una cámara de 12 megapíxeles y estamos de acuerdo con el lado inferior de la sensibilidad aquí. Eso sigue siendo un cuarto de billón de puntos de datos. Si hablamos de una cámara de 50 megapíxeles con mucho rango dinámico, quizás cinco billones . Incluso si hacemos que nuestras marcas de tiempo sean solo dos bytes cada una (un byte solo da 256 valores, por lo que es poco probable que sea suficiente para que todo esto valga la pena), eso es ... una gran cantidad de datos para una imagen. Quiero decir, literalmente terabytes.

Claramente, eso actualmente no es factible en términos de la canalización de datos con la tecnología actual, y mucho menos ponerlo en algún lugar .

Lo que está pidiendo, muestreo continuo de luz, podría ser teóricamente posible pero prácticamente demasiado costoso. Es posible aproximarlo con una frecuencia de muestreo muy alta. Esto podría hacerse con una cámara de video de alta velocidad (cámara lenta) con velocidades de cuadro muy altas. Luego, la salida podría ser procesada posteriormente para crear una imagen.

Una búsqueda rápida muestra sufrimientos como este Phantom

Estas cosas funcionan al tener sensores rápidos y al poder mover y almacenar grandes cantidades de datos. Intentar un muestreo continuo, o una velocidad de muestreo lo suficientemente rápida como para parecer continua, aumenta este problema y el costo.

El obturador electrónico ya es un paso adelante. Ahora podemos tomar todos los píxeles al mismo tiempo, luego decirles que dejen de recopilar (es decir, muestrear cada píxel) y medir la información para cada color de cada píxel en serie, capturando datos sobre una imagen que se tomó simultáneamente.

Este no solía ser el caso.

Sin embargo, todavía tenemos que hacer algunos trucos para el escenario HDR, sin embargo, no es tan malo como solía ser, nuevamente debido a los avances en la tecnología de sensores. Ahora tenemos una mayor sensibilidad del sensor y un rango dinámico, por lo que una foto que solía requerir una toma de dos soportes y un procesamiento posterior ahora se puede capturar en la cámara porque el sensor puede medir tanto las altas como las bajas de ciertas imágenes. De hecho, los sensores se han vuelto tan buenos que rara vez se encontrará con una situación que requiera más de tres disparos entre corchetes para obtener todo el rango dinámico. Los sensores más antiguos pueden haber requerido 5 o más disparos entre corchetes.

Su idea, según tengo entendido, requiere una medición continua por píxel.

Si bien esta es una gran idea, la implementación sigue siendo un problema. Las cámaras están diseñadas para transmitir datos desde el sensor en serie. No hay una línea para cada píxel al procesador, en cambio, el sensor de imagen tiene una lógica que le permite al procesador leer el valor de un píxel, o muchos píxeles, a la vez, pero no todos a la vez. Tiene que recorrer todos los píxeles, y esto lleva tiempo.

No podemos superar esto porque no podremos tener 50 millones de cables entre el sensor y el procesador. Podríamos integrar más procesamiento en el sensor, pero el sensor está especializado para hacer una cosa y hacerlo bien. Agregar circuitos digitales generaría más ruido y probablemente píxeles más pequeños incluso si se usaran circuitos integrados 3D. Además, los procesos utilizados para crear un buen silicio sensible a la luz son diferentes de los utilizados para crear un silicio digital bueno, de baja potencia y procesamiento rápido.

Todas estas cosas son impedimentos, sin embargo, para algunas aplicaciones especializadas ya se están utilizando. Usualmente en el área científica e industrial.

Pero eso no significa que nos estamos quedando afuera en el frío. A medida que los sensores mejoren, particularmente en el rango dinámico, descubrirá que eventualmente obtendrá "HDR" en la cámara sin soportes: los sensores simplemente serán lo suficientemente sensibles como para obtener el rango completo, y las lentes y el cuerpo de la cámara serán buenos suficiente para evitar el sangrado, la reflexión y otros problemas que impiden que el sensor alcance su plena capacidad.

Entonces, aunque la idea no es mala, es compleja, costosa, y todavía tenemos espacio para crecer en otras áreas mejorables, de modo que su método ni siquiera sea necesario.

La verdadera respuesta es el precio. Si está dispuesto a pagar 10-100x más por su cámara, puede obtener algunos sensores realmente elegantes.

El resultado deseado que describe es un rango dinámico más alto para cada píxel. Hay algunas formas de hacer esto. La forma obvia es obtener un mejor sensor ADC y CMOS, pero eso cuesta dinero y no está en la línea de lo que está pensando. El siguiente enfoque sería absorber la carga en un proceso continuo , en forma analógica. Esto le permitiría obtener una función continua que describe cuántos fotones golpean el píxel. Sin embargo, este tipo de hardware analógico es tremendamente difícil. En su cámara, todos los datos de píxeles se transfieren a través de un número bastante pequeño de ADC. Parte de la belleza de nuestros sensores es cómo pueden hacer eso, produciendo hardware más barato por factores de cientos. Hacer eso continuamente requeriría que cada píxel tenga una cantidad extraordinaria de hardware analógico afinado.

Lo que nos lleva al enfoque de muestreo digital. Mencionó la idea de capturar datos cada 1/1000 de segundo, lo que me sugiere que en realidad no estaba pensando en un proceso continuo , sino en un proceso de muestreo en el que obtiene muchos puntos de datos para segmentos de tiempo delgados y los une. juntos. Como se mencionó en otras respuestas, HDR + en algunos teléfonos hace exactamente esto. Toma varias fotos en rápida sucesión y las combina para obtener el efecto HDR. Para hacerlo, obviamente tienen un ancho de banda ADC mucho mayor que el que necesitarías para una sola imagen, pero no necesitarían tanto como se necesitaría para tratar cada píxel continuamente.

Por lo que parece, le gustaría que cada píxel muestree esta vez solo. Para hacer esto, primero tendríamos que incursionar en el diseño de circuitos integrados en 3D. No desea que ninguno de los hardware en cada píxel ocupe espacio en la superficie del sensor, o tendrá problemas para tener muy pocos píxeles o perder un montón de luz cuando cae en partes del CI que no son sensores. La única forma de lograr eso es construir un chip 3D. Estas son realmente una tecnología futura. Estamos comenzando a explorar cómo hacer esto, pero no es fácil. Si tiene cientos de miles de dólares de sobra para su cámara, podemos hacer que suceda este tipo de cosas.

Al final, parece que le gustaría que la salida de cada píxel sea un "número de coma flotante" en lugar de un "número entero". Es decir, cada píxel tendría un valor para cuántos fotones impactan, y un exponente que básicamente dice cuánto multiplicar ese valor para obtener el número real de fotones. A medida que se expone el píxel, tomaría muestras a una velocidad muy alta (tal vez 5000 Hz), y si el recuento de fotones es demasiado grande, elige un exponente más grande.

Ahora la verdadera pregunta es ¿cuánto beneficio obtienes de esto? Recuerde, el enfoque HDR + es la tecnología actual, para teléfonos celulares en cientos de dólares. Estás hablando de usar tecnología de vanguardia con tolerancias mucho más exigentes que cualquier cámara. Eso tendrá un costo. ¿Qué te compró? ¿Qué le compraron realmente esos dispositivos de un solo píxel durante el obturador que la tecnología CMOS barata que Google está impulsando no? La respuesta no es mucho. Puede haber algunos casos pequeños en los que este es un enfoque preferido, pero con un precio sustancialmente más alto que la tecnología existente, es un no comercial.

Se está implementando algo muy similar. Todavía opera por marcos distintos, porque hay ventajas significativas de un enfoque digital en lugar de analógico. Pero los enfoques existen con una resolución de tiempo en los pico segundos.

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

¿Por qué una cámara con un obturador electrónico captura y graba continuamente datos de luz de una imagen durante toda la duración del obturador en lugar de solo recopilar datos de luz y finalmente almacenarlos como una sola imagen?

Lo que creo que realmente está proponiendo aquí es describir una imagen no en términos de "¿cuánta luz se recolectó durante toda la exposición?" sino "¿qué tan brillante era la escena en cada punto?" Esa es una gran idea, y puedo pensar en varias formas de hacerlo, pero lo que todos tienen en común es que agregan complejidad al sensor.

Los fabricantes de cámaras han estado trabajando durante mucho tiempo para proporcionar más píxeles, y supongo que mantener la estructura de cada píxel individual simple ayuda en ese esfuerzo. Ahora que las réflex digitales generalmente tienen sensores con entre 20 y 50 millones de píxeles, quizás los veamos funcionar en su lugar para construir mejores píxeles. Ya lo estamos viendo de alguna manera: el enfoque automático de doble píxel es un ejemplo. Y, ciertamente, hay empresas que trabajan en la construcción de sensores que proporcionan un rango más dinámico , menos ruido, etc.

En resumen, creo que es probable que veamos algo similar a lo que ha propuesto en el futuro, incluso si no funciona de esa manera, y la razón por la que ya no estamos allí es probablemente solo eso. Otros objetivos, como el aumento de la densidad de píxeles, eran prioridades más altas en el pasado.

Se puede hacer de una manera algo diferente. En lugar de una foto, toma una serie de cuadros con diferentes tiempos de exposición. Luego, apila las imágenes para obtener algún tipo de promedio dependiendo del algoritmo que esté utilizando para apilar.

Por ejemplo, con el reciente eclipse solar total, la cantidad de corona visible a simple vista era mucho mayor que la que mostraría cualquier tiempo de exposición de la cámara. Esto se debe a que el ojo tiene un rango dinámico logarítmico, mientras que el ojo tiene un rango dinámico lineal. Entonces, al apilar varios tiempos de exposición, puede aproximar mucho mejor en una imagen lo que los observadores vieron a simple vista.

Los modos Olympus Live Bulb y Live Time van en la dirección que estás describiendo.

Del manual OM-D E-M5 :

Para ver el progreso de la exposición durante el disparo, elija un intervalo de visualización para [BULBO en vivo] (P. 89) o [TIEMPO en vivo] (P. 89).

Aquí hay un video . Tenga en cuenta que solo obtiene una exposición al final, aunque vea varias durante el proceso. Los píxeles del sensor solo se preocupan por la cantidad total de fotones que recibieron durante la exposición, no saben cuándo ni en qué orden aterrizaron esos fotones en el sensor.

Tienes la idea correcta. Sony esencialmente está haciendo algo al respecto en la RX100M5 y otras cámaras que cuentan con una característica que llaman D-Range Optimizer: analizar la escena y ajustar y compensar las áreas problemáticas.

La función D-Range Optimizer analiza instantáneamente los datos de la imagen capturada y corrige automáticamente la exposición óptima y la reproducción del tono. A menudo, al tomar escenas retroiluminadas, la cara del sujeto u otras áreas en la sombra aparecen más oscuras en la fotografía de lo que parecen al ojo humano. La función D-Range Optimizer discrimina entre diferentes condiciones para que las escenas fotografiadas corrijan automáticamente la curva gamma, el nivel de exposición y otros parámetros para eliminar partes que son más oscuras de lo que parecerían al ojo humano.

La función del optimizador de rango D también contiene el modo estándar, que ajusta la imagen completa de manera uniforme (eficaz para corregir aspectos como la exposición), y el modo avanzado, que corrige automáticamente las áreas dentro de la composición. Al utilizar el modo Avanzado, el fotógrafo puede producir una imagen clara en la que tanto el sujeto como el fondo se representan con el brillo adecuado, incluso cuando hay una gran diferencia en el brillo de los dos.

fuente: https://sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer % 3F