En pruebas atípicas univariadas (o: Dixon Q versus Grubbs)

En (la mayoría de) la literatura de química analítica, la prueba estándar para detectar valores atípicos en datos univariados (por ejemplo, una secuencia de mediciones de algún parámetro) es la prueba Q de Dixon. Invariablemente, todos los procedimientos enumerados en los libros de texto le permiten calcular cierta cantidad de los datos para compararlos con un valor tabular. A mano, esto no es una gran preocupación; Sin embargo, estoy planeando escribir un programa de computadora para Dixon Q, y solo el almacenamiento en caché de los valores me parece poco elegante. Lo que me lleva a mi primera pregunta:

1. ¿Cómo se generan los valores tabulares para Dixon Q?

Ahora, ya he revisado este artículo , pero tengo la sensación de que esto es un poco de trampa, ya que el autor simplemente construye una spline que pasa a través de los valores tabulares generados por Dixon. Tengo la sensación de que se necesitará una función especial (por ejemplo, función de error o beta / gamma incompleta) en alguna parte, pero al menos tengo algoritmos para eso.

Ahora para mi segunda pregunta: ISO parece estar recomendando lentamente la prueba de Grubbs sobre Dixon Q hoy en día, pero a juzgar por los libros de texto, todavía tiene que ponerse al día. Esto, por otro lado, fue relativamente fácil de implementar, ya que solo implica calcular el inverso del CDF de Student t. Ahora para mi segunda pregunta:

1. ¿Por qué querría usar Grubbs's en lugar de Dixon's?

En el frente obvio en mi caso, el algoritmo es "más ordenado", pero sospecho que hay razones más profundas. ¿Alguien puede importarme iluminarme?

$\delta \times$$\delta \times$

El estimador Qn se implementa en el paquete robustbase.

Ver:

Rousseeuw, PJ y Croux, C. (1993) Alternativas a la mediana de la desviación absoluta, Revista de la Asociación Americana de Estadística * 88 *, 1273-1283.

Respuesta al comentario:

Dos niveles

A) filosófico.

Las pruebas Dixon y Grub solo pueden detectar un tipo particular de valores atípicos (aislados, únicos). Durante los últimos 20-30 años, el concepto de valores atípicos ha involucrado a "cualquier observación que se aparte del cuerpo principal de los datos". Sin otra especificación de cuál es la partida particular. Este enfoque sin caracterización hace que la idea de construir pruebas para detectar valores atípicos sea nula. El énfasis se desplazó al concepto de estimadores (un ejemplo clásico de los cuales es la mediana) que retienen sus valores (es decir, son insensibles) incluso para una gran tasa de contaminación por valores atípicos, entonces dicho estimador es robusto, y la cuestión de detectar los valores atípicos se vuelven nulos.

B) debilidad,

Puede ver que las pruebas de Grub y Dixon se descomponen fácilmente: uno puede generar fácilmente datos contaminados que pasarían cualquiera de las pruebas como una dicha (es decir, sin romper el valor nulo). Esto es particularmente obvio en la prueba de Grubb, porque los valores atípicos desglosarán la media y la desviación estándar utilizada en la construcción de la estadística de prueba. Es menos obvio en Dixon, hasta que uno aprende que las estadísticas de pedidos tampoco son robustas para los valores atípicos.

Creo que encontrará más explicaciones de estos hechos en documentos orientados a la audiencia general no estadística como el mencionado anteriormente (también puedo pensar en el artículo de Fast-Mcd de Rousseeuw). Si consulta cualquier libro / introducción reciente a un análisis robusto, notará que ni Grubb ni Dixon se mencionan.