¿Qué formas hay de mostrar que dos métodos analíticos son equivalentes?

Tengo dos métodos analíticos diferentes que pueden medir la concentración de una molécula particular en una matriz (por ejemplo, medir la cantidad de sal en el agua)

Los dos métodos son diferentes y cada uno tiene su propio error. Las formas de mostrar los dos métodos son equivalentes (o no).

Estoy pensando que trazar los resultados de una serie de muestras medidas por ambos métodos en un gráfico de dispersión es un buen primer paso, pero ¿hay algún buen método estadístico?

El enfoque de correlación simple no es la forma correcta de analizar los resultados de los estudios de comparación de métodos. Hay (al menos) dos libros muy recomendados sobre este tema al que hice referencia al final (1,2). En pocas palabras, cuando se comparan métodos de medición, generalmente esperamos que (a) nuestras conclusiones no dependan de la muestra particular utilizada para la comparación, y (b) el error de medición asociado con el instrumento de medición en particular debe tenerse en cuenta. Esto excluye cualquier método basado en correlaciones, y enfocaremos nuestra atención en los componentes de varianza o los modelos de efectos mixtos que permiten reflejar el efecto sistemático del ítem (aquí, el ítem significa individuo o muestra en el que se recopilan los datos) (una).

En su caso, tiene mediciones individuales recolectadas usando dos métodos diferentes (supongo que ninguno de ellos podría considerarse como un estándar de oro) y lo más básico es trazar las diferencias ( ) versus las medias ( ); esto se llama un argumento blando-altman . Le permitirá verificar si (1) las variaciones entre los dos conjuntos de mediciones son constantes y (2) la variación de la diferencia es constante en el rango de valores observados. Básicamente, esto es solo una rotación de 45 ° de un diagrama de dispersión simple de frente a , y su interpretación está cerca de un gráfico de valores ajustados versus valores residuales utilizados en la regresión lineal. Entonces, ( X 1 + X 2 ) / 2 X 1 X $X_1-X_2$$(X_1+X_2)/2$$X_1$$X_2$

• Si la diferencia es constante ( sesgo constante ), puede calcular el límite de acuerdo (ver (3))
• Si la diferencia no es constante en todo el rango de medición, puede ajustar un modelo de regresión lineal entre los dos métodos (elija el que desee como predictor)
• Si la varianza de las diferencias no es constante, intente encontrar una transformación adecuada que haga que la relación sea lineal con la varianza constante.

Se pueden encontrar otros detalles en (2), capítulo 4.

Referencias

1. Dunn, G (2004). Diseño y análisis de estudios de confiabilidad . Arnold Vea la revisión en el International Journal of Epidemiology .
2. Carstensen, B (2010). Comparación de métodos de medición clínica . Wiley Consulte el sitio web complementario , incluido el código R.
3. El artículo original de Bland y Altman, Métodos estadísticos para evaluar el acuerdo entre dos métodos de medición clínica .
4. Carstensen, B (2004). Comparación y predicción entre varios métodos de medición . Bioestadística , 5 (3) , 399–413.

Si no tiene forma de conocer la verdadera concentración, el enfoque más simple sería una correlación. Un paso más allá podría ser llevar a cabo una regresión simple que prediga el resultado en el método 2 utilizando el método 1 (o viceversa). Si los métodos son idénticos, la intersección debe ser 0; si la intersección es mayor o menor que 0, indicaría el sesgo de un método en relación con otro. La pendiente no estandarizada debe estar cerca de 1 si los métodos en promedio producen resultados idénticos (después de controlar un sesgo hacia arriba o hacia abajo en la intersección). El error en la pendiente no estandarizada podría servir como un índice de la medida en que los dos métodos están de acuerdo.

Me parece que la dificultad con los métodos estadísticos aquí es que está tratando de afirmar lo que generalmente se plantea como una hipótesis nula, es decir, que no hay diferencias entre los métodos. Esto no es un golpe mortal para usar métodos estadísticos siempre que no necesite un valor p y pueda cuantificar lo que quiere decir con "equivalente" y pueda decidir cuánta desviación pueden tener los dos métodos entre sí antes de que ya no considérelos equivalentes. En el enfoque de regresión que detallé anteriormente, puede considerar los métodos equivalentes si el intervalo de confianza alrededor de la estimación de la pendiente incluye 1 y el IC alrededor de la intersección incluye 0.

Estoy de acuerdo con @drnexus. Además, podría recomendar una prueba de Morgan-Pitman para la igualdad de varianzas de los dos métodos. Esto le dirá si un método tiene más varianza que el otro. Esto en sí mismo podría no ser algo malo porque presumiblemente las dos pruebas tienen diferentes compensaciones de sesgo-varianza (por ejemplo, una prueba siempre puede decir 50% (sesgada, pero sin varianza) mientras que la otra es imparcial pero muy ruidosa). Algunos conocimientos de dominio pueden ser útiles aquí para determinar la cantidad de compensación que desea de su método. Por supuesto, como lo han señalado otros, sería preferible tener un 'estándar de oro'.

Una pregunta bastante antigua, pero tal como surgió hoy:

La palabra clave general es "validación en química analítica" y, como tal, está un poco fuera de tema aquí (pero como no hay un sitio de Química aquí (todavía: http://area51.stackexchange.com/proposals/4964/chemistry , I supongo que podemos dejarlo aquí por el momento)

Hay algunos procedimientos estándar en química analítica para esto.

Libros:

• Funk et. al: Aseguramiento de la calidad en química analítica, Wiley-VCH.

• Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
  (No sé si hay una versión en inglés y todavía no la tengo. Pero la tabla de contenido enumera la validación de la calibración multivariada).

La IUPAC también tiene algo que decir al respecto:

• Danzer, K. y Currie, LA: Directrices para la calibración en química analítica. Parte I. Fundamentos y calibración de un solo componente, Química pura y aplicada, IUPAC, 1998, 4, 993-1014

• Danzer, K. y Otto, M. y Currie, LA: Directrices para la calibración en química analítica. Parte 2: Calibración multicomponente Química pura y aplicada, 2004, 76, 1215-1225

Su uso de la frase 'métodos analíticos' es un poco confuso para mí. Voy a suponer que por "métodos analíticos" se refiere a algún modelo específico / estrategia de estimación.

En términos generales, hay dos tipos de métricas que podría usar para elegir entre estimadores.

Métricas en muestra

• Índice de probabilidad / prueba de Wald / prueba de puntaje
• R ²
• Tasas de aciertos en la muestra (porcentaje de predicciones correctas para los datos de la muestra)
• (Muchas otras métricas dependiendo del modelo / contexto de estimación)

Métricas fuera de muestra

• Tasas de aciertos fuera de muestra (Porcentaje de predicciones correctas para datos fuera de muestra)

Si las estimaciones son equivalentes, funcionarían igualmente bien en estas métricas. También podría ver si las estimaciones no son estadísticamente diferentes entre sí (como la prueba de igualdad de medias de dos muestras), pero la metodología para esto dependería de los detalles del modelo y el método.