¿Se puede usar la prueba de Kolmogorov-Smirnov para probar directamente la equivalencia de dos distribuciones?

Se ha hablado sobre otras preguntas sobre cómo se puede usar el enfoque de las Pruebas de dos lados (TOST) para la prueba de Kolmogorov-Smirnov (KS), pero me preguntaba si era posible usar directamente la estadística de prueba para mostrar que dos las distribuciones fueron similares?

Según tengo entendido, el estadístico de prueba de KS representa la mayor diferencia entre dos CDF, y la versión de una muestra se usó originalmente como una prueba de bondad de ajuste. Esto se muestra en [1] como cuando la distribución empírica se cruza fuera del intervalo de confianza (es decir, cualquier punto está demasiado lejos de la distribución hipotética con la que se está probando).

Si la versión de dos muestras se usa a menudo para mostrar que dos distribuciones son significativamente diferentes entre sí, de manera similar a la versión de una muestra, ¿podemos invertir el cálculo de los intervalos de confianza usando para usar en su lugar , como una forma de mostrar que la diferencia máxima entre las dos distribuciones es significativamente similar. $(1-\alpha) = 0.05$ $(1-\alpha) = 0.95$

[1] Massey, F. "La prueba de Kolmogorov-Smirnov para la bondad del ajuste", Revista de la Asociación Americana de Estadística , vol. 46, no. 253, págs. 68-78, marzo de 1951

— jamesyjamesjames
fuente

Al realizar la prueba de Kolmogorov-Smirnov, suponemos las dos distribuciones son equivalentes. Luego calculamos una estadística de prueba y, si el valor correspondiente es lo suficientemente pequeño, rechazamos y concluimos las dos distribuciones son diferentes. $H_0:$ $p$ $H_0$ $H_A:$

En cuanto a las pruebas de hipótesis, usamos un valor para cuantificar la cantidad de evidencia que tenemos para rechazar la hipótesis nula. Un valor de 1 indica que no hemos reunido evidencia para rechazar la hipótesis nula. Un valor cercano a 0 indica que hay evidencia abrumadora para rechazar la hipótesis nula. $p$ $p$ $p$

Supongamos que tenemos datos y calculemos un valor de la prueba de KS donde Esto indica que hay muy poca evidencia para rechazar la hipótesis nula. Sin embargo, no podemos establecer un estándar de modo que implique que concluimos que la hipótesis nula es correcta. Además, no creo que haya una prueba alternativa que nos permita concluir que las dos distribuciones son iguales. $p$ $p=0.99.$ $\alpha=0.95$ $p>\alpha$

Lo que creo que puedes hacer es ser completamente honesto en la redacción o discusión. Mencione que realizó una prueba de KS, informe un valor , y si el valor es suficientemente alto, entonces articule que hay muy poca evidencia que sugiera que las dos distribuciones son diferentes. Entonces, si bien no puede concluir que las distribuciones son idénticas, debe ser capaz de notar que no hay evidencia que sugiera que las dos distribuciones son diferentes. A medida que aumenta el tamaño de su muestra , más fe tendrá en esta respuesta. $p$ $p$ $n$

No es exactamente la respuesta que probablemente estaba buscando, pero tampoco es un lavado total. ¡Espero que esto ayude!

— Matt Brems
fuente

(1/2) Entiendo que no podemos usar un valor p> 0.98 ... etc., lo que me preguntaba es que si la prueba KS realmente mide la distancia máxima entre las dos distribuciones, entonces se siente como si estuviera en una posición única para realizar pruebas de equivalencia directamente. Por ejemplo, si el estadístico de prueba D = 0, ¿entonces seguramente las dos distribuciones tienen que ser idénticas? Y si ese es el caso, ¿qué pasa con D <0.0001? Parece que debería haber un punto crítico (como cuando p cruza 0.05), donde ya no podemos estar seguros de que tienen la misma distribución, y

— jamesyjamesjames

(2/2) ... así que puede darle la vuelta y usar 0 <D <0.05 (por ejemplo) para decir que las dos distribuciones son significativamente similares.

— jamesyjamesjames

Incluso si , no podemos concluir que las distribuciones son idénticas. Solo podemos concluir que nuestra muestra no nos proporciona evidencia contra la afirmación de que las dos distribuciones son iguales. Quizás nuestra muestra simplemente no incluye observaciones que indiquen una diferencia en la distribución. Esto es lo mismo que todas las pruebas de hipótesis: un estadístico de prueba que corresponde a un valor de 1 no proporciona evidencia contra la hipótesis nula pero no puede probar definitivamente que la hipótesis nula sea correcta. Hablando prácticamente, a medida que aumenta , puede tener más confianza en que ...

D = 0

$D=0$

p

$p$

n

$n$

— Matt Brems

... las distribuciones son idénticas pero no puede establecer de manera concluyente este hecho.

— Matt Brems

Ah, por supuesto, porque es un ECDF. Sí, eso tiene sentido.

— jamesyjamesjames