¿Por qué es malo enseñar a los estudiantes que los valores p son la probabilidad de que los hallazgos se deban al azar?

34

¿Alguien puede ofrecer una buena explicación sucinta de por qué no es una buena idea enseñar a los estudiantes que un valor p es el problema (sus hallazgos se deben a la posibilidad [aleatoria]). Tengo entendido que un valor p es el problema (obtener datos más extremos | la hipótesis nula es verdadera).

Mi verdadero interés es cuál es el daño de decirles que es lo primero (aparte del hecho de que simplemente no es así).

p-value randomness teaching

— Patricio
fuente

43

¿Porque está mal?

— whuber

66

¿Quizás lo que quieres es un ejemplo simple para mostrar que no solo está mal sino que es malo?

— Karl

2

Algunas cosas son simplemente cuestiones de hecho, Patrick, no de opinión: Pi no es igual a tres (a pesar de los intentos de legislarlo así ), por ejemplo. Pero su comentario es una aclaración útil: sugiere que no está preguntando sobre el daño de enseñar algo incorrecto, sino que realmente está buscando razones para explicar la diferencia a las personas.

— whuber

2

Hay una buena discusión sobre estos temas en stats.stackexchange.com/questions/5591/… , incluso entre las respuestas con menos votos (en mi humilde opinión).

— whuber

1

Sí Karl, supongo que estoy buscando ejemplos del mundo real. Aquellos que se ocupan de estudios basados en la observación (por ejemplo, ciencias ambientales, ecología, ciencias de la vida silvestre) serían geniales. Leí ese hilo (whuber) antes de publicar esto, junto con varios pubs. Gracias por eso sin embargo.

— Patrick

25

Tengo una interpretación diferente del significado de la declaración incorrecta que @Karl. Creo que es una declaración sobre los datos, más que sobre el nulo. Lo entiendo como pedir la probabilidad de obtener su estimación debido al azar. No sé lo que eso significa, no es un reclamo bien especificado.

Pero sí entiendo lo que probablemente se entiende por la probabilidad de obtener mi estimación por casualidad dado que la estimación real es igual a un valor particular. Por ejemplo, puedo entender lo que significa obtener una gran diferencia en las alturas promedio entre hombres y mujeres dado que sus alturas promedio son en realidad las mismas. Eso está bien especificado. Y eso es lo que da el valor p. Lo que falta en la declaración incorrecta es la condición de que el nulo es verdadero.

Ahora, podríamos objetar que esto no es una declaración perfecta (la posibilidad de obtener un valor exacto para un estimador es 0, por ejemplo). Pero es mucho mejor que la forma en que la mayoría interpretaría un valor p.

El punto clave que digo una y otra vez cuando enseño la prueba de hipótesis es "El primer paso es asumir que la hipótesis nula es verdadera. Todo se calcula teniendo en cuenta esta suposición". Si la gente recuerda eso, eso es bastante bueno.

— Charlie
fuente

Oh, eso me parece bien. Veo que he estado haciendo el mismo punto sin darme cuenta [suspiro] (+1)

— conjugateprior

Pero, ¿qué pasa con "cuál es el daño"?

— rolando2

15

$\text{H}_0$ $\Pr(\text{H}_0)$ $\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ puede ser muy diferente del valor p, por lo que interpretar un valor p de esa manera puede ser muy engañoso.

La ilustración más simple: digamos que el anterior, es bastante pequeño, pero uno tiene bastante pocos datos, por lo que el valor p es grande (digamos, 0.3), pero el posterior, , aún sería bastante pequeño. [Pero tal vez este ejemplo no sea tan interesante.] $\Pr(H_0)$ $\Pr(\text{H}_0|\text{data})$

— Karl
fuente

Entonces, ¿Pr (H0 | datos) == a prob (sus hallazgos se deben a una probabilidad [aleatoria])?

— Patrick

@Patrick: sí.

— Karl

1

@Patrick: no, definitivamente no. En la prueba de hipótesis clásica, no tiene sentido.

Pr (H_{0} | anything)

$\Pr(H_0|\text{anything})$

— whuber

@whuber, pero ese es el punto. "prob (sus hallazgos se deben a la posibilidad [aleatoria])" es realmente que creo que debería escribirse como . Puede tener sentido (con anteriores + Bayes), pero no es el valor p.

Pr (H_{0})

$\Pr(H_0)$

Pr (H_{0} | data)

$\Pr(H_0 | \text{data})$

— Karl

2

Hmm, creo que todavía no lo sigo, aunque estoy agradecido de que hayas invocado a Bayes y distribuciones anteriores para dar un contexto a tu respuesta y comentarios, que de lo contrario son desconcertantes. Quizás sea porque estoy interpretando que "hallazgos" significan "datos", no " ". Es difícil entender el concepto "la hipótesis nula se debe al azar", incluso en un modelo bayesiano. (En la configuración bayesiana, esa declaración no agregaría ninguna información que no se había asumido al principio: todas las hipótesis son variables aleatorias.)

H_{0}

$H_0$

— whuber

14

Agregaré una respuesta tardía desde la perspectiva del (ex) estudiante: en mi humilde opinión, el daño no se puede separar de que es incorrecto.

Este tipo de "aproximaciones / atajos didácticos" incorrectos puede crear mucha confusión para los estudiantes que se dan cuenta de que no pueden entender lógicamente la declaración, pero suponiendo que lo que se les enseña es correcto, no se dan cuenta de que no pueden entenderla. porque no es correcto

Esto no afecta a los estudiantes que simplemente memorizan las reglas que se les presentan. Pero requiere que los estudiantes que aprenden entendiendo sean lo suficientemente buenos para

llegar a la solución correcta por sí mismos y
ser lo suficientemente bueno para que puedan estar seguros de que tienen razón
y concluir que se les enseña mierda (por alguna razón supuestamente didáctica).

No digo que no haya atajos didácticos válidos. Pero en mi humilde opinión, cuando se toma un atajo de este tipo, esto debería mencionarse (por ejemplo, "para facilitar el argumento, suponemos / aproximamos que ...").
En este caso particular, sin embargo, creo que es demasiado engañoso para ser de alguna utilidad.

— cbeleites apoya a Monica
fuente

1

+1 Este es un muy buen punto, si les enseña a los estudiantes algo que es incorrecto, los alienta a construir un modelo de cómo funcionan las estadísticas que es defectuoso, y bien puede causar que malinterpreten otros elementos de las estadísticas que están en el programa de estudios ( por ejemplo, qué intervalo de confianza: si alienta a los estudiantes a pensar que una probabilidad frecuentista se puede asociar a una hipótesis, entonces ¿por qué no se puede aplicar a la hipótesis de que el verdadero valor se encuentra en un intervalo particular? La comprensión es el verdadero objetivo de la educación, y esto requiere precisión.

— Dikran Marsupial

8

Refiriéndose directamente a la pregunta: ¿Dónde está el daño?

En mi opinión, la respuesta a esta pregunta radica en el reverso de la afirmación: "Un valor p es la probabilidad de que los hallazgos se deban al azar". Si uno cree esto, entonces probablemente cree lo siguiente: "[1- (valor p)] es la probabilidad de que los hallazgos NO se deban al azar".

El daño radica en la segunda declaración, porque, dada la forma en que funcionan los cerebros de la mayoría de las personas, esta declaración sobreestima enormemente la confianza que debemos tener en los valores específicos de un parámetro estimado.

— DL Dahly
fuente

6

Aquí hay un ejemplo simple que uso:

Supongamos que nuestra hipótesis nula es que estamos lanzando una moneda de 2 cabezas (entonces prob (caras) = 1). Ahora volteamos la moneda una vez y obtenemos caras, los valores p para esto son 1, entonces, ¿eso significa que tenemos un 100% de posibilidades de tener una moneda de 2 caras?

Lo complicado es que si hubiéramos dado la vuelta, el valor p habría sido 0 y la probabilidad de tener una moneda de 2 cabezas habría sido 0, por lo que coinciden en este caso, pero no con el anterior. El valor p de 1 anterior solo significa que lo que hemos observado es perfectamente consistente con la hipótesis de una moneda de 2 cabezas, pero no prueba que la moneda tenga 2 caras.

Además, si estamos haciendo estadísticas frecuentistas, entonces la hipótesis nula es Verdadero o Falso (simplemente no sabemos cuál) y hacer declaraciones de probabilidad (frecuentas) sobre la hipótesis nula no tiene sentido. Si desea hablar sobre la probabilidad de la hipótesis, entonces haga estadísticas bayesianas apropiadas, use la definición bayesiana de probabilidad, comience con un previo y calcule la probabilidad posterior de que la hipótesis sea verdadera. Simplemente no confunda un valor p con un posterior bayesiano.

— Greg Snow
fuente

3

OK, otra versión ligeramente diferente de esto:

Un primer problema básico es la frase "debido a la posibilidad [aleatoria]". La idea de 'oportunidad' no especificada es algo natural para los estudiantes, pero es peligroso pensar con claridad sobre la incertidumbre y catastrófico para hacer estadísticas sensatas. Con algo así como una secuencia de lanzamientos de monedas, es fácil suponer que la configuración Binomial describe la 'oportunidad' con una probabilidad de 0.5. Es cierto que tiene cierta naturalidad, pero desde un punto de vista estadístico no es más natural que asumir 0.6 o algo más. Y para otros ejemplos menos 'obvios', por ejemplo, que involucran parámetros reales, es completamente inútil pensar en cómo sería la 'oportunidad'.

Con respecto a la pregunta, la idea clave es comprender qué tipo de 'oportunidad' describe H0, es decir, qué nombres de probabilidad real / DGP H0. Una vez que ese concepto está en su lugar, los estudiantes finalmente dejan de hablar sobre las cosas que suceden 'por casualidad' y comienzan a preguntarse qué es realmente H0. (También se dan cuenta de que las cosas pueden ser consistentes con una variedad bastante amplia de Hs, por lo que obtienen una ventaja inicial en los intervalos de confianza, a través de pruebas invertidas).

El segundo problema es que si está en camino a la definición de Fisher de los valores p, debería (siempre) explicarlo primero en términos de la consistencia de los datos con H0 porque el punto de p es ver eso, no interpretarlo. el área de la cola como una especie de actividad 'casual' (o francamente para interpretarla). Esto es puramente una cuestión de énfasis retórico, obviamente, pero parece ayudar.

En resumen, el daño es que esta forma de describir las cosas no se generalizará a ningún modelo no trivial en el que posteriormente puedan intentar pensar. En el peor de los casos, puede agregarse al sentido de misterio que el estudio de las estadísticas ya genera en el tipo de personas a las que se dirigen tales descripciones.

— conjugadoprior
fuente

1

Si desmonto, "el valor p es la probabilidad de que un efecto se deba al azar", parece estar implicando que el efecto es causado por el azar. Pero cada efecto es parcialmente causado por el azar. En una lección de estadística donde se explica la necesidad de tratar de ver a través de la variabilidad aleatoria, esta es una declaración bastante mágica y exagerada. Les confiere a los valores p poderes que no tienen.

Si define la posibilidad en un caso específico de ser la hipótesis nula, entonces está indicando que el valor p produce la probabilidad de que el efecto observado sea causado por la hipótesis nula. Eso parece terriblemente cercano a la afirmación correcta, pero afirmar que una condición en la probabilidad es la causa de esa probabilidad es nuevamente exagerado. La afirmación correcta, de que el valor p es la probabilidad del efecto dado que la hipótesis nula es verdadera, no atribuye la causa al efecto nulo. Las causas son diversas, incluido el verdadero efecto, la variabilidad en torno al efecto y la posibilidad aleatoria. El valor p no mide la probabilidad de ninguno de esos.

— John
fuente