¿Cómo comprobar las diferencias entre dos grupos significa cuando los datos no se distribuyen normalmente?

19

Eliminaré todos los detalles y experimentos biológicos y citaré solo el problema en cuestión y lo que he hecho estadísticamente. Me gustaría saber si es correcto, y si no, cómo proceder. Si los datos (o mi explicación) no son lo suficientemente claros, intentaré explicarlos mejor editando.

Supongamos que tengo dos grupos / observaciones, X e Y, con tamaño y . Me gustaría saber si las medias de estas dos observaciones son iguales. Mi primera pregunta es: $N_x=215$ $N_y=40$

Si se cumplen los supuestos, ¿es relevante utilizar una prueba t paramétrica de dos muestras aquí? Pregunto esto porque, según tengo entendido, ¿se aplica generalmente cuando el tamaño es pequeño?
Tracé histogramas de X e Y y no estaban distribuidos normalmente, uno de los supuestos de una prueba t de dos muestras. Mi confusión es que, considero que son dos poblaciones y es por eso que verifiqué la distribución normal. Pero luego estoy a punto de realizar una prueba t de dos MUESTRAS ... ¿Es esto correcto?
Según el teorema del límite central, entiendo que si realiza un muestreo (con / sin repetición según el tamaño de su población) varias veces y calcula el promedio de las muestras cada vez, entonces se distribuirá aproximadamente de manera normal. Y, la media de estas variables aleatorias será una buena estimación de la media de la población. Entonces, decidí hacer esto tanto en X como en Y, 1000 veces, y obtuve muestras, y asigné una variable aleatoria a la media de cada muestra. La trama estaba muy normalmente distribuida. La media de X e Y fue de 4.2 y 15.8 (que fue lo mismo que la población + - 0.15) y la varianza fue de 0.95 y 12.11.
Realicé una prueba t en estas dos observaciones (1000 puntos de datos cada una) con variaciones desiguales, porque son muy diferentes (0.95 y 12.11). Y la hipótesis nula fue rechazada.
¿Tiene esto algún sentido? ¿Es este enfoque correcto / significativo o una prueba z de dos muestras es suficiente o es totalmente errónea?
También realicé una prueba de Wilcoxon no paramétrica solo para asegurarme (en X e Y originales) y la hipótesis nula también fue rechazada de manera convincente. En el caso de que mi método anterior estuviera completamente equivocado, supongo que hacer una prueba no paramétrica es bueno, ¿excepto por el poder estadístico, tal vez?

En ambos casos, los medios fueron significativamente diferentes. Sin embargo, me gustaría saber si uno o ambos enfoques son defectuosos / totalmente incorrectos y, de ser así, ¿cuál es la alternativa?

— Arun
fuente

21

La idea de que la prueba t es solo para muestras pequeñas es un retraso histórico. Sí, se desarrolló originalmente para muestras pequeñas, pero no hay nada en la teoría que distinga lo pequeño de lo grande. En los días antes de que las computadoras fueran comunes para hacer estadísticas, las tablas t a menudo solo alcanzaban alrededor de 30 grados de libertad y lo normal se usaba más allá de eso como una aproximación cercana de la distribución t. Esto fue por conveniencia para mantener el tamaño razonable de la mesa. Ahora con computadoras podemos hacer pruebas t para cualquier tamaño de muestra (aunque para muestras muy grandes la diferencia entre los resultados de una prueba z y una prueba t es muy pequeña). La idea principal es usar una prueba t cuando se usa la muestra para estimar las desviaciones estándar y la prueba z si se conocen las desviaciones estándar de la población (muy raro).

El Teorema del límite central nos permite usar la teoría de la inferencia normal (pruebas t en este caso) incluso si la población no está distribuida normalmente siempre que los tamaños de las muestras sean lo suficientemente grandes. Esto significa que su prueba es aproximada (pero con sus tamaños de muestra, la aplicación debería ser muy buena).

La prueba de Wilcoxon no es una prueba de medias (a menos que se sepa que las poblaciones son perfectamente simétricas y se mantienen otras suposiciones poco probables). Si los medios son el principal punto de interés, entonces la prueba t es probablemente la mejor para citar.

Dado que sus desviaciones estándar son muy diferentes, y las formas no son normales y posiblemente diferentes entre sí, la diferencia en los medios puede no ser lo más interesante que sucede aquí. Piensa en la ciencia y en lo que quieres hacer con tus resultados. ¿Se toman decisiones a nivel poblacional o individual? Piense en este ejemplo: está comparando 2 medicamentos para una enfermedad determinada, con el medicamento A, la mitad de la muestra murió inmediatamente y la otra mitad se recuperó en aproximadamente una semana; con el medicamento B todos sobrevivieron y se recuperaron, pero el tiempo de recuperación fue más de una semana. En este caso, ¿realmente le importaría qué tiempo medio de recuperación fue más corto? O reemplace la mitad que muere en A con solo tomar mucho tiempo para recuperarse (más tiempo que cualquier persona en el grupo B).

— Greg Snow
fuente

Gracias Greg Supongo que no hay nada de malo en el procedimiento per-se? Entiendo que es posible que no esté haciendo la pregunta correcta, pero mi preocupación es igualmente acerca de la prueba / procedimiento estadístico y la comprensión misma dada dos muestras. Comprobaré si estoy haciendo la pregunta correcta y volveré con preguntas, si las hay. Quizás si explico el problema biológico, ayudaría con más sugerencias. Gracias de nuevo.

— Arun

5

Una adición a la respuesta ya muy completa de Greg.

Si te entiendo de la manera correcta, tu punto 3 establece el siguiente procedimiento:

Observe muestras de una distribución de . $n$ $X$
Luego, dibuje de esos valores y calcule su media. $m$ $n$
Repita esto 1000 veces, guarde los medios correspondientes
Finalmente, calcule la media de esas medias y suponga que la media de es igual a la media calculada de esa manera. $X$

Ahora su suposición es que, para esto, se cumple el teorema del límite central y la variable aleatoria correspondiente se distribuirá normalmente.

Quizás echemos un vistazo a las matemáticas detrás de su cálculo para identificar el error:

Vamos a llamar a sus muestras de , o, en terminología estadística, tiene . Ahora, dibujamos muestras de tamaño calculamos su media. El -ésimo de esos medios se parece a esto: $X$ $X_1,\ldots,X_n$ $X_1,\ldots, X_n\sim X$ $m$ $k$

Y_{k} = \frac{1}{metro} \sum_{yo = 1}^{metro} X_{μ_{yo}^{k}}

$Y_k=\frac{1}{m}\sum_{i=1}^m X_{\mu^k_{i}}$

donde denota el valor entre 1 que se ha dibujado en el sorteo . Calcular la media de todos esos medios da como resultado $\mu^k_i$ $n$ $i$

\frac{1}{1000} \sum_{k = 1}^{1000} \frac{1}{metro} \sum_{yo = 1}^{metro} X_{μ_{yo}^{k}}

$\frac{1}{1000}\sum_{k=1}^{1000} \frac{1}{m}\sum_{i=1}^m X_{\mu^k_{i}}$

Para ahorrarle la terminología matemática exacta, solo eche un vistazo a esta suma. Lo que sucede es que las se agregan varias veces a la suma. Con todo, sumas números y los divides por . De hecho, está calculando una media ponderada de con pesos aleatorios. $X_i$ $1000m$ $1000m$ $X_i$

Ahora, sin embargo, el Teorema del límite central establece que la suma de muchas variables aleatorias independientes es aproximadamente normal. (Lo que da como resultado que también sea la media aproximadamente normal).

Su suma anterior no produce muestras independientes. Quizás tenga pesos aleatorios, pero eso no hace que sus muestras sean independientes en absoluto. Por lo tanto, el procedimiento escrito en 3 no es legal.

Sin embargo, como ya dijo Greg, usar una prueba en sus datos originales puede ser aproximadamente correcto, si está realmente interesado en la media. $t$

— Thilo
fuente

Gracias. Parece que t-test ya se ocupa del problema usando CLT (de la respuesta de greg que pasé por alto). Gracias por señalarlo y por la explicación clara de 3) que es lo que realmente quería saber. Tendré que invertir más tiempo para comprender estos conceptos.

— Arun

2

Tenga en cuenta que el CLT funciona de manera diferente dependiendo de la distribución en cuestión (o, lo que es peor, el valor esperado o la varianza de la distribución no existe, entonces el CLT ni siquiera es válido). Si tiene dudas, siempre es una buena idea generar una distribución que se parezca a la que observó y luego simular su prueba utilizando esta distribución unos cientos de veces. Obtendrá una idea de la calidad de los suministros de aproximación CLT.

— Thilo