¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov? ¿Cuándo diferirán los resultados de estos dos métodos?
¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov? ¿Cuándo diferirán los resultados de estos dos métodos?
Respuestas:
Realmente ni siquiera puede comparar los dos, ya que Kolmogorov-Smirnov es para una distribución completamente especificada (por lo tanto, si está probando la normalidad, debe especificar la media y la varianza; no pueden estimarse a partir de los datos *), mientras que Shapiro-Wilk es para normalidad, con media y varianza no especificadas.
* tampoco puede estandarizar mediante el uso de parámetros estimados y prueba de normal estándar; eso es realmente lo mismo.
Una forma de comparar sería complementar el Shapiro-Wilk con una prueba para la media y la varianza especificadas de manera normal (combinando las pruebas de alguna manera), o haciendo que las tablas KS se ajusten para la estimación de parámetros (pero ya no es distribución -gratis).
Existe una prueba de este tipo (equivalente a Kolmogorov-Smirnov con parámetros estimados): la prueba de Lilliefors; la versión de prueba de normalidad podría compararse válidamente con la Shapiro-Wilk (y generalmente tendrá una potencia más baja). Más competitiva es la prueba de Anderson-Darling (que también debe ajustarse para la estimación de parámetros para que una comparación sea válida).
En cuanto a lo que prueban, la prueba KS (y Lilliefors) analiza la mayor diferencia entre el CDF empírico y la distribución especificada, mientras que Shapiro Wilk compara efectivamente dos estimaciones de varianza; Shapiro-Francia, estrechamente relacionado, puede considerarse como una función monotónica de la correlación al cuadrado en un gráfico QQ; Si no recuerdo mal, el Shapiro-Wilk también tiene en cuenta las covarianzas entre las estadísticas del pedido.
Editado para agregar: Si bien Shapiro-Wilk casi siempre supera la prueba de Lilliefors en alternativas de interés, un ejemplo en el que no lo hace es el en muestras medianas y grandes ( -ish). Allí el Lilliefors tiene mayor poder.
[Debe tenerse en cuenta que hay muchas más pruebas de normalidad disponibles que estas.]
hist(replicate(1000,ks.test(scale(rnorm(x)),pnorm)$p.value))
si los valores p fueran como deberían ser, ¡se vería uniforme!
En pocas palabras, la prueba de Shapiro-Wilk es una prueba específica de normalidad, mientras que el método utilizado por la prueba de Kolmogorov-Smirnov es más general, pero menos potente (lo que significa que rechaza correctamente la hipótesis nula de normalidad con menos frecuencia). Ambas estadísticas toman la normalidad como nula y establecen un estadístico de prueba basado en la muestra, pero la forma en que lo hacen es diferente entre sí en formas que los hacen más o menos sensibles a las características de las distribuciones normales.
La forma exacta en que se calcula W (el estadístico de prueba para Shapiro-Wilk) es un poco complicado , pero conceptualmente, implica la matriz de los valores de la muestra por tamaño y la medición del ajuste frente a las medias, variaciones y covarianzas esperadas. Según tengo entendido, estas comparaciones múltiples contra la normalidad le dan a la prueba más poder que la prueba de Kolmogorov-Smirnov, que es una forma en la que pueden diferir.
Por el contrario, la prueba de Kolmogorov-Smirnov para la normalidad se deriva de un enfoque general para evaluar la bondad del ajuste al comparar la distribución acumulativa esperada con la distribución acumulativa empírica, en relación con:
Como tal, es sensible en el centro de la distribución, y no en las colas. Sin embargo, la prueba KS is es convergente, en el sentido de que, como n tiende al infinito, la prueba converge a la respuesta verdadera con probabilidad (creo que el Teorema de Glivenko-Cantelli se aplica aquí, pero alguien puede corregirme). Estas son dos formas más en las que estas dos pruebas pueden diferir en su evaluación de la normalidad.