Prueba de Kolmogorov-Smirnov versus prueba t


14

Tengo algunas dificultades para comprender la interpretación de la prueba KS de 2 muestras y cómo es diferente de una prueba t normal entre 2 grupos.

Digamos que tengo hombres y mujeres haciendo alguna tarea y yo obtengo algunos puntajes de esa tarea. Mi objetivo final es determinar si los hombres y las mujeres se desempeñan de manera diferente en esa tarea

Entonces, una cosa que podría hacer es ejecutar una prueba entre los 2 grupos. Otra cosa que podría hacer es calcular el ECDF para hombres y mujeres, trazarlos y realizar la prueba KS de 2 muestras. Obtendría algo como esto:

ingrese la descripción de la imagen aquí

Prueba de KS

La hipótesis nula para la prueba KS es que los 2 conjuntos de distribuciones de puntaje continuo provienen de la misma población

Al realizar la prueba KS, obtengo: D = 0.18888, valor p = 0.04742

Primero, quiero verificar que mi interpretación de los resultados sea correcta. Aquí, rechazaría la hipótesis nula y diría que las distribuciones de puntajes masculinos y femeninos provienen de diferentes poblaciones. O, en otras palabras, la distribución de los puntajes masculinos y femeninos es diferente entre sí.

Más específicamente, los hombres tienden a tener una mayor probabilidad de lograr puntajes más bajos en esta tarea, y esa es la diferencia entre los dos sexos según interpreto de la trama

Prueba T

Ahora en la prueba se probará la diferencia entre las medias masculinas y femeninas en la variable de puntuación.

Imaginemos el caso en el que el rendimiento masculino es peor que el de las mujeres en esta tarea. En ese caso, la distribución de puntajes masculinos se centrará en una media baja, mientras que la distribución de puntajes femeninos se centrará en una media alta. Este escenario estaría en línea con la gráfica anterior, ya que los hombres tendrán una mayor probabilidad de lograr puntuaciones más bajas.

Si la prueba t resulta ser significativa, concluiría que las mujeres obtienen, en promedio, una puntuación significativamente más alta que los hombres. O en términos de población, los puntajes femeninos se extraen de una población cuya media es más alta que la población masculina, lo que suena muy similar a la conclusión de KS de que provienen de diferentes poblaciones.

¿Cual es la diferencia?

Entonces, la conclusión que sacaría en los casos de prueba KS y t es la misma. Los hombres se desempeñan mal en relación con las mujeres Entonces, ¿cuál es el beneficio de usar una prueba sobre la otra? ¿Hay algún conocimiento nuevo que pueda obtener al usar la prueba KS?

A mi modo de ver, los hombres con una distribución centrada alrededor de una media baja y las mujeres centradas alrededor de una media alta es lo que causa la prueba t significativa. Pero por ese mismo hecho , los hombres tendrán una mayor probabilidad de obtener valores más bajos, lo que provocaría que la trama se parezca a la anterior y proporcione una prueba KS significativa. Por lo tanto, los resultados de ambas pruebas tienen la misma causa subyacente, pero tal vez se podría argumentar que una prueba de KS toma en cuenta más que solo los medios de las distribuciones y también considera la forma de la distribución, pero ¿es posible analizar la causa? de la prueba significativa de KS solo de los resultados de la prueba?

Entonces, ¿cuál es el valor de ejecutar una prueba KS durante la prueba? Y supongamos que puedo cumplir con los supuestos de la prueba t para esta pregunta


La prueba t clásica es, en general, inferior al análisis de datos bayesianos, consulte "La estimación bayesiana de John Kruschke reemplaza a la prueba t" indiana.edu/~kruschke/BEST/BEST.pdf
Vladislavs Dovgalecs

No estoy seguro de cómo se relaciona la prueba KS con los métodos bayesianos ...
Simon

Simplemente deje de usar KS y t-test
Vladislavs Dovgalecs

44
@xeon Si vas a hacer declaraciones tan fuertes, será mejor que las apoyes. Su consejo sería inútil para detectar el tipo de diferencia en el ejemplo en mi respuesta. ¿Por qué debería uno abandonar un enfoque que claramente funciona para identificar esta diferencia en las distribuciones a favor de uno que no lo hace?
Glen_b -Reinstate a Monica el

1
@Glen_b Es por eso que un escribió un comentario, no una respuesta. Puede ser que OP no haya leído el periódico, lo cual es genial por cierto; Simplemente quería sugerirlo. Pero estoy de acuerdo en que hice una declaración demasiado fuerte y me comporté un poco snob. Pido disculpas por ser un poco grosero. No sucederá más.
Vladislavs Dovgalecs

Respuestas:


18

Como ejemplo de por qué querría usar la prueba de dos muestras de Kolmogorov-Smirnov:

Imagine que las medias poblacionales fueran similares pero que las variaciones fueran muy diferentes. La prueba de Kolmogorov-Smirnov podría detectar esta diferencia, pero la prueba t no.

O imagine que las distribuciones tienen medios y SD similares, pero los machos tienen una distribución bimodal (rojo) mientras que las hembras (azul) no:

ingrese la descripción de la imagen aquí

¿Los hombres y las mujeres se desempeñan de manera diferente? Sí, los machos tienden a anotar en algún lugar alrededor de 7.5-8 o 12.5-13, mientras que las hembras tienden a anotar más hacia el medio (cerca de 10 más o menos) pero están mucho menos agrupados sobre ese valor que los dos valores los machos tienden a puntuar cerca.

Por lo tanto, Kolmogorov-Smirnov puede encontrar diferencias de distribución mucho más generales que la prueba t.


Ah, tiene sentido. ¿Podría extender esa lógica y decir que si una prueba t es significativa, entonces la prueba KS también será significativa, sin embargo, podría deberse a la diferencia de medias y / o cualquier otra diferencia en la distribución, por lo que la interpretación de la KS prueba difícil? Entonces, ¿una prueba KS solo es realmente útil en el caso de que no haya una diferencia media entre 2 grupos?
Simon

La prueba t es más sensible a las diferencias en la media (particularmente si las distribuciones de las poblaciones son cercanas a lo normal con una desviación estándar similar). La prueba de KS puede ser más difícil de interpretar, pero no estaría de acuerdo con tu última oración. Podría tener una pequeña diferencia en los medios que se acompaña de otras diferencias; la prueba t solo tiene la diferencia en los medios para informarla, mientras que la prueba KS puede ser informada por los otros tipos de diferencias. Imagine el ejemplo anterior, pero donde también hay un pequeño cambio en los medios; La prueba t puede no detectar la diferencia tan fácilmente como la prueba KS.
Glen_b -Reinstate a Monica el

@Glen_b: ¿es correcto decir que KS prueba si las distribuciones son iguales mientras que la prueba t prueba si las distribuciones tienen la misma media?

@ fcop Sí y no; dados los supuestos, y bajo el nulo, la prueba t de varianza igual ordinaria también está probando la identidad de las distribuciones: es la generalidad de la alternativa (combinada con los supuestos) lo que realmente los hace diferentes. Por supuesto, podemos (y generalmente lo hacemos) usar las pruebas cuando sus suposiciones no se aplican del todo y luego estamos más observando su comportamiento bajo nulo y alternativo; la prueba t tenderá a ser sensible a un cambio en la media de la alternativa, mientras que el KS es algo sensible a una clase muy amplia de alternativas.
Glen_b -Reinstalar a Mónica el
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.