¿Puedo usar la prueba de Kolmogorov-Smirnov y estimar los parámetros de distribución?

He leído que la prueba de Kolmogorov-Smirnov no debe usarse para evaluar la bondad de ajuste de una distribución cuyos parámetros se han estimado a partir de la muestra.

¿Tiene sentido dividir mi muestra en dos y usar la primera mitad para la estimación de parámetros y la segunda para la prueba KS?

Gracias por adelantado

estimation fitting kolmogorov-smirnov

— sortega
fuente

¿Con qué distribución quieres probar y por qué?

— gung - Restablece a Monica

Sospecho que los datos siguen una distribución exponencial.

— sortega

Respuestas:

El mejor enfoque es calcular su valor crítico del valor p por simulación. El problema es que cuando calcula los parámetros a partir de los datos en lugar de utilizar valores hipotéticos, la distribución del estadístico KS no sigue la distribución nula.

En su lugar, puede ignorar los valores p de la prueba KS y simular un conjunto de conjuntos de datos de la distribución candidata (con un conjunto significativo de parámetros) del mismo tamaño que sus datos reales. Luego, para cada conjunto, calcule los parámetros y realice la prueba de KS utilizando los parámetros estimados. Su valor p será la proporción de estadísticas de prueba de los conjuntos simulados que son más extremas que para sus datos originales.

— Greg Snow
fuente

La solución me parece un poco confusa (al menos para mí); ¿Qué quiere decir con "un conjunto significativo de parámetros" para la distribución de candidatos? Inicialmente no conoce los parámetros de la distribución de candidatos, ¿cómo podría saber qué es un "conjunto significativo de parámetros"?

— Néstor

Puede probar diferentes conjuntos de parámetros para ver si hace una diferencia o no (para lo normal no, pero algunas distribuciones pueden). Luego piense en la ciencia detrás de sus datos, o hable con un experto en el área, debería poder tener una idea general de por dónde empezar, por ejemplo, sé cuál es la altura promedio de los hombres adultos en Nigeria, pero estoy bastante seguro de que es positivo y menos de 3 metros.

— Greg Snow

@ GregSnow Me encontré con esta publicación, ya que es relevante para mi trabajo actual. Me preguntaba si hay alguna justificación teórica para el método que sugiere. Es decir, ¿cómo sabemos que el "valor p" propuesto se distribuye uniformemente de 0 a 1? El valor p propuesto no parece ser el valor p convencional porque la hipótesis nula ahora es un conjunto de distribuciones

— renrenthehamster

@renrenthehamster, tienes un buen punto, es por eso que sugerí simular en diferentes condiciones. Para algunas distribuciones (esperaría lo normal) no importará mucho, pero otras pueden requerir diferentes puntos de corte para diferentes valores de parámetros verdaderos. Si ese es el caso, entonces el usuario (usted) necesita encontrar un valor nulo significativo para probar que incluya tanto la forma de la distribución como un conjunto o rango de parámetros con los que se sienta cómodo.

— Greg Snow

@LilyLong, las simulaciones solían ser mucho más difíciles y lentas, por lo que las pruebas se desarrollaron para ser más rápidas / fáciles que la simulación, algunas de las primeras tablas fueron creadas por simulación. Muchas pruebas ahora se pueden reemplazar fácilmente por simulación, pero probablemente nos acompañarán por un tiempo más debido a la tradición y la simplicidad.

— Greg Snow

La división de muestras tal vez podría reducir el problema con la distribución de la estadística, pero no la elimina.

Su idea evita el problema de que las estimaciones serán "demasiado cercanas" en relación con los valores de la población porque se basan en la misma muestra.

No estás evitando el problema de que todavía son estimaciones. La distribución de la estadística de prueba no es la tabulada.

En este caso, aumenta la tasa de rechazo bajo nulo, en lugar de reducirlo drásticamente.

Una mejor opción es usar una prueba donde los parámetros no se suponen conocidos, como Shapiro Wilk.

Si está casado con un tipo de prueba de Kolmogorov-Smirnov, puede adoptar el enfoque de la prueba de Lilliefors.

Es decir, usar el estadístico KS pero hacer que la distribución del estadístico de prueba refleje el efecto de la estimación de parámetros: simule la distribución del estadístico de prueba bajo la estimación de parámetros. (Ya no es libre de distribución, por lo que necesita nuevas tablas para cada distribución).

http://en.wikipedia.org/wiki/Lilliefors_test

Liliefors usó la simulación para el caso normal y el caso exponencial, pero puede hacerlo fácilmente para cualquier distribución específica; en algo así como R es cuestión de momentos simular 10,000 o 100,000 muestras y obtener una distribución de la estadística de prueba bajo nulo.

[Una alternativa podría ser considerar el Anderson-Darling, que tiene el mismo problema, pero que, a juzgar por el libro de D'Agostino y Stephens ( Técnicas de bondad de ajuste ) parece ser menos sensible a él. Podrías adaptar la idea de Lilliefors, pero sugieren un ajuste relativamente simple que parece funcionar bastante bien.]

Pero todavía hay otros enfoques; Hay familias de pruebas suaves de bondad de ajuste, por ejemplo (ver el libro de Rayner y Best) que en varios casos específicos pueden tratar con la estimación de parámetros.

* el efecto aún puede ser bastante grande, tal vez más grande de lo que normalmente se consideraría aceptable; Momo tiene razón al expresar preocupación al respecto. Si una tasa de error tipo I más alta (y una curva de potencia más plana) es un problema, ¡entonces esto puede no ser una mejora!

— Glen_b -Reinstate a Monica
fuente

¿podría explicar cómo "la división de muestras resolvería el problema con la distribución de la estadística"? En mi opinión, los parámetros se estimarían a partir de una submuestra y luego se conectarían para la prueba KS de la segunda submuestra, pero los parámetros aún estarían asociados con un error de muestreo que no se tiene en cuenta en la distribución nula. Esto me suena como si uno con una idea similar pudiera dividir una muestra de una distribución normal, estimar las desviaciones estándar en una submuestra y realizar una comparación de medias con la normal estándar en lugar de la t-dist en la segunda submuestra.

— Momo

@Momo 'resolver' es demasiado fuerte; 'reducir' es mejor. Si los parámetros se estimaron a partir de las mismas observaciones que está probando, y luego - a menos que cuenta para tal efecto - las desviaciones de la muestra de la distribución será 'demasiado pequeño' - la tasa de rechazo va waay abajo. Usar otra muestra elimina ese efecto. Los valores de los parámetros resultantes de la estimación de una segunda muestra todavía sufren errores de muestreo. Eso tendrá cierto impacto en la prueba (aumenta la tasa de error tipo I), pero no tendrá el efecto de sesgo dramático que tiene el uso de los mismos datos para ambos.

— Glen_b -Reinstale a Monica el

@Momo He editado mi comentario para eliminar 'resolver' y reemplazarlo con alguna explicación

— Glen_b -Reinstate Monica

Me temo que eso no resolvería el problema. Creo que el problema no es que los parámetros se estimen a partir de la misma muestra, sino de cualquier muestra. La derivación de la distribución nula habitual de la prueba KS no tiene en cuenta ningún error de estimación en los parámetros de la distribución de referencia, sino que los ve como dados. Véase también Durbin 1973, que analiza estos temas detenidamente y ofrece soluciones.

— Momo
fuente

Estos son en realidad dos problemas separados. Si usa los mismos datos para estimar los parámetros y hacer la prueba KS, generalmente verá valores p inflados , porque esencialmente adapta la distribución a los datos antes de probarlos. Sin embargo, si usa dos conjuntos independientes de muestras, este no es el caso. Sin embargo, las estimaciones imprecisas de los parámetros pueden disminuir los valores p que obtiene en este caso, porque ahora está probando esencialmente contra una distribución (ligeramente) incorrecta .

— fgp