Entonces, esta puede ser una pregunta común, pero nunca he encontrado una respuesta satisfactoria.
¿Cómo se determina la probabilidad de que la hipótesis nula sea verdadera (o falsa)?
Digamos que les das a los estudiantes dos versiones diferentes de una prueba y quieres ver si las versiones son equivalentes. Realiza una prueba t y le da un valor p de .02. ¡Qué buen valor p! Eso debe significar que es poco probable que las pruebas sean equivalentes, ¿verdad? No. Desafortunadamente, parece que P (resultados | nulo) no le dice P (nulo | resultados). Lo normal es rechazar la hipótesis nula cuando nos encontramos con un valor p bajo, pero ¿cómo sabemos que no estamos rechazando una hipótesis nula que probablemente sea cierta? Para dar un ejemplo tonto, puedo diseñar una prueba para el ébola con una tasa de falsos positivos de .02: poner 50 bolas en un cubo y escribir "ébola" en una. Si pruebo a alguien con esto y eligen la bola de "ébola", el valor p (P (recogiendo la bola | no tienen ébola)) es .02,
Cosas que he considerado hasta ahora:
- Asumiendo P (nulo | resultados) ~ = P (resultados | nulo) - claramente falso para algunas aplicaciones importantes.
- Aceptar o rechazar hipótesis sin conocer P (nulo | resultados) - ¿Por qué las aceptamos o rechazamos entonces? ¿No es cierto que rechazamos lo que creemos que ES PROBABLEMENTE falso y aceptamos lo que PROBABLEMENTE es cierto?
- Usa el teorema de Bayes, pero ¿cómo obtienes tus antecedentes? ¿No terminas en el mismo lugar tratando de determinarlos experimentalmente? Y elegirlos a priori parece muy arbitrario.
- Encontré una pregunta muy similar aquí: stats.stackexchange.com/questions/231580/. La respuesta aquí parece decir básicamente que no tiene sentido preguntar acerca de la probabilidad de que una hipótesis nula sea cierta, ya que esa es una pregunta bayesiana. Tal vez soy un bayesiano de corazón, pero no puedo imaginar no hacer esa pregunta. De hecho, parece que el malentendido más común de los valores p es que son la probabilidad de una hipótesis nula verdadera. Si realmente no puede hacer esta pregunta como frecuentista, entonces mi pregunta principal es la # 3: ¿cómo obtiene sus antecedentes sin quedarse atrapado en un bucle?
Editar: Gracias por todas las respuestas reflexivas. Quiero abordar un par de temas comunes.
- Definición de probabilidad: estoy seguro de que hay mucha literatura sobre esto, pero mi ingenua concepción es algo así como "la creencia de que un ser perfectamente racional habría dado la información" o "las probabilidades de apuestas que maximizarían las ganancias si la situación se repitió y las incógnitas se les permitió variar ".
- ¿Podemos saber P (H0 | resultados)? Ciertamente, esta parece ser una pregunta difícil. Sin embargo, creo que cada probabilidad es teóricamente conocible, ya que la probabilidad siempre está condicionada a la información dada. Todos los eventos sucederán o no, por lo que la probabilidad no existe con información completa. Solo existe cuando no hay información suficiente, por lo que debe ser reconocible. Por ejemplo, si me dicen que alguien tiene una moneda y le pregunto la probabilidad de cara, diría que 50%. Puede suceder que la moneda tenga un peso del 70% en cara, pero no se me dio esa información, por lo que la probabilidad fue del 50% para la información que tenía, así como a pesar de que cae en la cola, la probabilidad fue del 70% cabezas cuando me enteré de eso. Como la probabilidad siempre está condicionada a un conjunto de datos (insuficientes),
Editar: "Siempre" puede ser un poco demasiado fuerte. Puede haber algunas preguntas filosóficas para las cuales no podemos determinar la probabilidad. Aún así, en situaciones del mundo real, aunque "casi nunca" tenemos certeza absoluta, "casi siempre" debería haber una mejor estimación.