Antecedentes:
tuve que realizar un análisis de datos para un cliente (algún tipo de abogado) que era un principiante absoluto en estadística. Me preguntó qué significa el término "significación estadística" y realmente intenté explicarlo ... pero como no soy bueno para explicar cosas, fallé;)
Respuestas:
Las diferencias suceden como resultado del azar.
Cuando creemos que algo es estadísticamente significativo, creemos que la diferencia es mayor de lo que razonablemente puede explicarse como una casualidad.
NOTA: lo que quiero enfatizar en esta respuesta es que la significación estadística es una herramienta útil, pero también diferente de la verdad.
Toma un paquete de 52 cartas. Si mi cliente es inocente, es un paquete normal de cartas, 13 corazones. Si mi cliente miente, es un paquete fijo y las 52 cartas son corazones.
Robo la primera carta y es un corazón. ¡Ajá, culpable! Bueno, obviamente, el sentido común nos dice que ese no es el caso: había una probabilidad de cuatro de que esto sucediera incluso si era inocente. No tenemos significación estadística solo con mirar una tarjeta.
Entonces sacamos una segunda carta. Otro corazon Hhhmmm ... definitivamente culpable entonces! Bueno, todavía había 12 corazones en esas 51 cartas restantes, así que no es imposible. Las matemáticas (13/52 * 12/51 = 0.0588) nos dicen que esto sucede aproximadamente el 6% de las veces, incluso si es inocente. Para la mayoría de los científicos esto aún no contaría.
¡Roba una tercera carta, otro corazón! Tres consecutivos. Las posibilidades de que esto suceda son (13/52 * 12/51 * 11/50 = 0.01294), por lo que un poco más del 1% del tiempo esto puede suceder por casualidad.
En gran parte de la ciencia, el 5% se utiliza como punto de corte. Entonces, si no tiene otra evidencia que esas tres cartas, tiene un resultado estadísticamente significativo de que es culpable.
El punto importante es que cuantas más cartas se le permita mirar, mejor será su confianza en su culpa, que es otra forma de decir cuanto mayor es el significado estadístico.
NOTA: nunca tienes una prueba de su culpa a menos que se te permita mirar 14 cartas. Con un paquete normal de cartas es teóricamente posible sacar 13 corazones seguidos, pero 14 es imposible. [Aparte de los pedantes: supongamos que los números en las tarjetas no son visibles; todas las cartas son uno de los cuatro palos posibles, y eso es todo.]
NOTA: tienes prueba de su inocencia en el momento en que robas una carta que no sea un corazón. Esto se debe a que solo había dos paquetes posibles: normal o todos los corazones. La vida real es más complicada, y las matemáticas también se complican más.
Por cierto, si su cliente no es un jugador de cartas, intente Monopoly: todo el mundo saca un doble seis algunas veces; pero si alguien saca el doble seis cada vez que sospechas. Las estadísticas simplemente nos permiten poner un número exacto de lo sospechosos que deberíamos ser.
Mi propio consejo es no hablar sobre las siguientes cosas:
No seas demasiado duro contigo mismo sobre el abogado. Esta es una persona educada que pasó al menos un semestre en una clase de Estadística de la universidad, y no le quedó nada de eso. Es la misma historia para prácticamente todos los demás no científicos con los que he trabajado: la significación estadística no se mantiene . Es un concepto demasiado antinatural.
Le animo a que explique la significación estadística en términos de evidencia . Los estadísticos clásicos han codificado la evidencia en una escala de 0 a 1, donde los valores más pequeños constituyen más evidencia y 0.05 es donde la línea se dibuja convencionalmente.
"Estadísticamente significativo" significa que algo podría haber sucedido al azar, pero es poco probable. En cambio, es mucho más probable que haya algún tipo de causa. Debe hacer esto más concreto con un ejemplo que sea relevante para su cliente, ya que esa explicación es muy abstracta.
Por ejemplo, si la abogada Anne ganó muchos más casos en promedio que Bill, esto podría haber sucedido al azar. Sin embargo, si Anne ganó más casos estadísticamente significativos, entonces es mucho más probable que haya algo que pueda ayudar a explicar por qué Anne ha ganado más casos que Bill. No sabemos la causa. Quizás Anne es mejor abogada o Bill elige deliberadamente casos que son más difíciles.
¡Mantenlo simple y conciso!
Un valor p se define como la probabilidad de obtener resultados tan o más extremos como el que observamos suponiendo que el valor nulo es verdadero. Si el valor p es lo suficientemente pequeño, es probable que el valor nulo no sea verdadero. Elegimos arbitrariamente un límite para lo que consideramos que es "lo suficientemente pequeño" (alfa) y para todos los valores de p que caen por debajo de alfa, rechazamos el valor nulo.
Así es como lo explico a mi clase de estadísticas de introducción.
Lo intentaré.
Primero calcule un valor p basado en los datos promedio y qué tan variables son los datos. Cuanto más variable, menos probabilidades hay de obtener un pequeño valor p. Por otro lado, si, por ejemplo, está comparando dos grupos, cuanto mayor sea la diferencia entre los promedios de ellos, menor será el valor p.
Además, la variabilidad de los datos puede cancelarse un poco al tener más datos. Imágenes de dos conjuntos de datos con la misma diferencia entre dos promedios y la misma cantidad de variabilidad. En este caso, el conjunto con un tamaño de muestra más grande tendrá un valor p menor.
La parte de prueba es solo ver si el valor p es menor que algún número. Por lo general, las personas usan .05, pero esta es una costumbre social arbitraria. Mucha gente piensa que no tiene sentido usar un número arbitrario, sin embargo, es muy común por razones históricas.
También tenga en cuenta que el hecho de que su prueba de significación indique que hay una diferencia entre dos grupos no significa que sepa por qué existe esa diferencia. Por otro lado, si la prueba dice que no hay una diferencia significativa, esto podría deberse a que su variabilidad era demasiado grande y no tenía suficientes datos para obtener un valor p bajo, no significa que no haya una diferencia real.
Editar:
Para resumir, un valor p más bajo significa más evidencia contra la predicción:
Diferencia del resultado previsto -> Valor p abajo
Más datos -> Valor p abajo
Más variabilidad -> Valor p arriba
Valor p bajo significa más evidencia que dice que la predicción es falsa. Cada predicción en la historia se ha mostrado falsa con algún decimal.
La significación estadística es un concepto utilizado para proporcionar justificación para aceptar o rechazar una hipótesis dada. Dado un conjunto de datos, un analista puede calcular estadísticas y determinar la magnitud de varias relaciones entre diferentes variables.
El trabajo de las estadísticas es determinar si los datos contienen suficiente evidencia para permitirle concluir que las estadísticas calculadas o las relaciones observadas entre las variables pueden interpretarse como afirmaciones verdaderas o si los resultados observados en los datos de su muestra se deben simplemente al azar. Esto se hace determinando una estadística de muestra que exhibiría ciertas características si la hipótesis nula es verdadera pero no si la hipótesis nula es falsa. Cuanto más parece mostrar el estadístico muestral relevante las características esperadas bajo la hipótesis nula, más fuerte es la evidencia estadística de que la hipótesis nula es correcta. Del mismo modo, cuanto menor sea la estadística de la muestra que muestre las características esperadas bajo la hipótesis nula, más débil será la evidencia estadística de que la hipótesis nula es correcta.
La cantidad de que el estadístico de la muestra exhibe las características esperadas bajo el valor nulo es una cuestión de grado, pero para concluir que la hipótesis nula es aceptada o rechazada debe haber algún límite arbitrario. Como tal, se elige un valor de corte. Si el estadístico de la muestra cae dentro o en un lado del valor de corte, entonces se dice que se ajusta a las características esperadas bajo la hipótesis nula, y por lo tanto el resultado puede considerarse estadísticamente significativo para el valor de corte dado (por ejemplo, al 5% alfa nivel). Si el estadístico de muestra relevante cae al otro lado del valor de corte, entonces se dice que no se ajusta a las características esperadas bajo la hipótesis nula y, por lo tanto, el resultado no se considera estadísticamente significativo para el valor de corte dado.