¿Qué tan relevantes son los puntajes y las pruebas de DxOMark?

Para mí, la calificación del sensor DxOMark me parece un poco extraña. Recientemente calificaron el sensor de Nikon D3300 con el mismo puntaje que obtuvo la Canon 1Dx, lo que no creo que refleje sus rendimientos, y que también me hizo escéptico sobre su sistema de puntuación.

Valoro sus mediciones del sensor, lo que resulta en una herramienta de referencia para comparar diferentes sensores de cámara, pero ¿son realmente relevantes? Hasta donde sé, no hay documentación de cómo se calcula el puntaje a partir del rango dinámico, la sensibilidad al color y los puntajes ISO con poca luz. Además, el interés de DxO Labs radica en vender su software, no directamente en proporcionar herramientas de evaluación comparativa científica y podría estar sesgado hacia un determinado fabricante.

¿Qué tan útiles son los puntajes de DxOMark y cómo puedes usarlos para comparar diferentes cámaras?

Las "puntuaciones" primarias de DXOMark son completamente inútiles. INGNÓRALOS. Es un esfuerzo inútil tratar de reducir una entidad compleja como una DSLR a un único número escalar que le diga todo al respecto. Es una falacia. Hay demasiados factores a considerar, y los factores que son más importantes para un fotógrafo en particular difieren. Una sola puntuación anula por completo el propósito de ejecutar mediciones en primer lugar.

Cuando se trata de otros puntajes de DXO, como poca luz y paisaje y otras cosas, tómelos con una fuerte dosis de sal. Sus puntajes generales están muy ponderados y, a menudo, se basan en derivaciones de mediciones en lugar de mediciones reales. Por ejemplo, la puntuación horizontal se basa en la "medida" Imprimir DR. El problema es que DXO en realidad NO MIDE DR de impresión, ya que no se basa en muestras tomadas de imágenes con muestreo real. Print DR es una extrapolación matemática simple del rango dinámico medido VERDADERO del sensor.

Por lo tanto, Print DR realmente no le dice nada sobre el sensor. Cuando DXO dice que la D800 y la D600 tienen 14.4 paradas de DR, es decir Print DR, que se extrapola del DR de hardware real, que es 13.2 paradas. Lo mismo ocurre con los sensores Canon. Cuando DXO le dice que el sensor tiene 12 paradas de DR, ese no es realmente el caso. En realidad, la mayoría de los sensores Canon, a nivel de hardware, tienen alrededor de 10.95 paradas de DR.

Sin embargo, el problema es peor que esto. Gran parte de la información de puntuación de profundidad de color y sensibilidad de color está ponderada, al igual que muchas de las puntuaciones basadas en ISO. Los pesos se basan en cámaras que alcanzan ciertos umbrales, como que la SNR en un determinado ISO sea superior a un cierto nivel. Esto otorga una cierta "bonificación" a la puntuación de esa cámara. En el momento en que ingresa al juego cualquier tipo de puntuación de bonificación basada en el peso, su capacidad de comparar directamente cualquier cosa por cualquier puntaje desaparece por completo. Ahora estás en un campo de juego no lineal donde honestamente no sabes si esa cámara Nikon de allá con un puntaje de 95 ha sido muy ponderada en relación con esta cámara Canon aquí con un puntaje de 80.

Cuando se trata de mediciones reales, la información DXO es una de las mejores disponibles. Sus medidas de SNR, Screen DR, sensibilidad de color, etc. son bastante sólidas, ya que todo se toma directamente de múltiples muestras de imágenes RAW para cada cámara probada. Su metodología de prueba es bastante rigurosa, y no hay nada que indique que parte de su metodología deba ser puesta en duda. Científicamente, en cuanto a cómo evalúan y lo que miden, DXO tiene prácticas sólidas e información sólida.

DXO es realmente una bolsa mixta. Pueden tener prácticas de prueba sólidas, pero su puntuación, dado que a menudo se basa en información ponderada derivada matemáticamente y el hecho de que a algunos de sus puntajes a menudo se les otorgan puntos "adicionales" simplemente por alcanzar ciertos umbrales, degrada completamente el punto completo de lo que hace DXO: producir una puntuación lineal para cada cámara que permita comparar fácilmente las cámaras. Para empezar, era un concepto defectuoso, la puntuación de un solo número, pero lo empeoraron mucho más por la forma en que manejan el proceso de puntuación real.

Puntaje general

Por lo general, ignoro el puntaje general, ya que es demasiado general si comprende alguno de los puntajes individuales.

El puntaje general es una función de una variedad de pruebas deterministas (bastante), cada una de las cuales es bastante informativa, y la mayoría (¿si no todas?) Tienen unidades de medida claras. Pero luego generan una "puntuación" que combina estas métricas, con diferentes dimensiones. Es como comparar un automóvil con otro, agregando su aceleración máxima (m / s / s), el tamaño de su tanque de combustible (L), su velocidad máxima (km / h) y la cantidad de pasajeros que pueden transportar. Todos querrán sopesar los diferentes componentes de manera diferente, por lo que el puntaje general se vuelve bastante irrelevante.

Puntuaciones de casos de uso

Como usted dice, la Canon 1DX obtuvo el mismo puntaje general que la Nikon D3300, pero tenga en cuenta algunas grandes diferencias, incluso solo en la página de resumen "Puntajes":

• La puntuación de "Paisaje" (también conocido como Rango dinámico) es de 11.8 frente a 12.8 EV (1 parada mejor en D3300)
• El puntaje de "Deportes" (también conocido como ISO con poca luz) es 2786 frente a 1385 ISO (1 parada mejor en 1DX)

Estos " puntajes de casos de uso " ya son mucho más específicos y dimensionalmente sensibles, y hacen comparaciones mucho mejores.

Dicho esto, también son

1. no necesariamente fácil de entender, y
2. no necesariamente una medida útil para todas las aplicaciones

Por ejemplo, el caso de uso "Deportes / ISO con poca luz" es

ISO con poca luz es la configuración ISO más alta para una cámara que le permite alcanzar una SNR de 30dB mientras mantiene un buen rango dinámico de 9 EV y una profundidad de color de 18bits.

Estos valores elegidos son arbitrarios, pero la parte útil es que se usan consistentemente para medir todos los sensores de la misma manera. Esto significa que si bien solo está buscando un valor único, al menos puede comparar manzanas con manzanas. Qué tan bien se comparan el sensor A y el sensor B, para un punto de datos en particular. Es una comparación útil porque todos los sensores tienden a funcionar mejor con ISO más bajos, y todos tienden a tener caídas similares a medida que aumenta el ISO, etc. Pero realmente confía en ese rendimiento similar en todos los sensores para que esto sea útil Comparación de propósito general.

Mediciones

Si entra en la sección "Mediciones" de la comparación, comenzará a ver algunas comparaciones más útiles. Gran cantidad de datos, en muchas condiciones diferentes. Ahí es donde puede (tipo de) comenzar a responder preguntas como "¿Cuánto menos ruido ISO obtendría de la cámara A frente a la cámara B, en ISO6400?". O, si ya sabe que está de acuerdo con su cámara actual hasta ISO 1600, puede usar la SNR para su cámara a ISO 1600 como referencia para comparar otras cámaras (en este caso, habrá una cantidad similar de ruido de imagen en un 1DX a ISO 3200 como lo habría en un D3300 a ISO 1600). Bueno, incluso eso no es del todo cierto, ¡ya que los datos de SNR son para un 18% de gris!

La comparación del rendimiento entre dispositivos complejos, con muchas dimensiones / grados de libertad, es un problema inherentemente muy difícil. A menudo puede comparar pruebas individuales bastante bien, pero el problema es encontrar pruebas generalizables que retraten rápida y fácilmente el rendimiento relativo o absoluto. Creo que las "puntuaciones de casos de uso" logran esto, en gran medida, pero solo porque la tecnología de la mayoría de los sensores es bastante similar, lo que le permite hacer generalizaciones como la anterior sobre que el 1DX es "mejor" para el ruido con poca luz . (¡Imagínese si el ruido del sensor no fuera una simple función de ISO para todos los sensores!)

Tenga en cuenta también que un sensor que supera a otro no es necesariamente útil . El rendimiento ISO (SNR 18%) de una D3300 y una 1DX es esencialmente irrelevante cuando se graba un JPEG de una escena brillante a la luz del día. Más útiles serán cosas como el rango dinámico (para detalles de sombras / luces con sombras duras). E incluso entonces, al grabar JPEG, no obtendrá mucho más de un rango dinámico más grande (hay un poco de compresión de tono para formar el JPEG, pero ambos aún son capaces de superar el rango dinámico de 8 bits de un JPEG). Para repetir la analogía del automóvil, es como comparar la velocidad máxima y la aceleración entre automóviles para los desplazamientos urbanos. Nunca alcanzará los límites de ningún automóvil 'rápido', por lo que es irrelevante para esa aplicación. Realmente necesita un buen sentido de la aplicación específica si desea comparar dos sensores de manera significativa, y ahí es donde quiere saber:

1. Las mediciones reales, para comparación (no solo puntajes generales)
2. ¿Qué medidas son útiles para la aplicación?
3. Cuál es el límite de utilidad para una medida particular de desempeño

Resumen

El puntaje general es bastante inútil, excepto como una guía realmente general para ponderar los casos de uso de alguien (¡no necesariamente el suyo!) S.

Las puntuaciones de casos de uso son guías mucho mejores para algunas tendencias generales de rendimiento entre diferentes sensores.

Las mediciones le permiten hacer sus propias comparaciones, si sabe qué comparar, y tiene una aplicación en mente. También es importante saber cuánto es "suficiente", o cuándo obtiene "rendimientos decrecientes" para cualquier aplicación.

A menos que realmente entiendas electrónica, óptica, física ... los números absolutos probablemente no tengan sentido.

Confío en DXoMark hasta donde puedo lanzarlos, y no soy particularmente bueno en el lanzamiento de bala. Son una fuente interesante de información sobre las condiciones de laboratorio y pueden ser ocasionalmente útiles cuando se comparan cámaras del mismo fabricante, pero hay demasiadas variables en las pruebas que se apartan de las condiciones del mundo real para que sean generalmente útiles para comparar cámaras, particularmente de diferentes cámaras. fabricantes.

Al igual que cualquier otro sitio de revisión de cámaras, el rendimiento en el mundo real siempre es más importante que las condiciones de laboratorio. Si sabe cómo leer la información y calcular qué es y qué no es relevante para el mundo real, puede obtener algunos datos significativos de DxOMark, pero en mi experiencia, es mejor tomarlo con un gran grano de sal.