Hay dos intentos de hacer exactamente lo que has dicho en la historia estadística, el Bayesiano y el Fiducial. RA Fisher fundó dos escuelas de pensamiento estadístico, la escuela probabilista construida alrededor del método de máxima verosimilitud y la escuela Fiducial, que terminó en fracaso pero que intenta hacer exactamente lo que quiere.
La respuesta breve de por qué falló es que sus distribuciones de probabilidad no terminaron integrándose a la unidad. La lección, al final, fue que la probabilidad previa es algo necesario para crear lo que está tratando de crear. De hecho, vas por el camino de uno de los mejores estadísticos de la historia y más de unos pocos de los otros grandes murieron con la esperanza de una solución a este problema. Si se encontrara, colocaría los métodos de hipótesis nula a la par con los métodos bayesianos en términos de los tipos de problemas que podrían resolver. De hecho, superaría a Bayes, excepto donde existiera información previa real.
También debe tener cuidado con su afirmación de que un valor p indica una mayor probabilidad de la alternativa. Eso solo es cierto en la escuela de Probabilidad de Pescadores. No es del todo cierto en la escuela frecuente de Pearson-Neyman. Su apuesta en la parte inferior parece ser una apuesta de Pearson-Neyman, mientras que su valor p es incompatible, ya que proviene de la escuela de pescadores.
Para ser caritativo, voy a suponer, por ejemplo, que no hay sesgo de publicación y, por lo tanto, solo aparecen resultados significativos en las revistas que crean una alta tasa de falsos descubrimientos. Estoy tratando esto como una muestra aleatoria de todos los estudios realizados, independientemente de los resultados. Yo diría que sus probabilidades de apuesta no serían coherentes en el sentido clásico de la palabra de Finetti.
En el mundo de De Finetti, una apuesta es coherente si los jugadores no pueden apostar en la casa de apuestas para que se enfrenten a una pérdida segura. En la construcción más simple, es como la solución al problema de cortar el pastel. Una persona corta la pieza por la mitad, pero la otra persona elige qué pieza quiere. En esta construcción, una persona indicaría los precios de las apuestas en cada hipótesis, pero la otra persona elegiría comprar o vender la apuesta. En esencia, podría vender en corto el nulo. Para ser óptimo, las probabilidades tendrían que ser estrictamente justas. Los valores P no conducen a probabilidades justas.
Para ilustrar esto, considere el estudio de Wetzels, et al en http://ejwagenmakers.com/2011/WetzelsEtAl2011_855.pdf
La cita es: Ruud Wetzels, Dora Matzke, Michael D. Lee, Jeffrey N. Rounder, Geoffrey J. Iverson y Eric-Jan Wagenmakers. Evidencia estadística en psicología experimental: una comparación empírica utilizando 855 t pruebas. Perspectivas sobre la ciencia psicológica. 6 (3) 291-298. 2011
Esta es una comparación directa de 855 pruebas t publicadas que utilizan factores de Bayes para evitar el problema de la distribución previa. En el 70% de los valores p entre 0,05 y 0,01, los factores de Bayes fueron, en el mejor de los casos, anecdóticos. Esto se debe a la forma matemática utilizada por los frequentistas para resolver el problema.
Los métodos de hipótesis nulas suponen que el modelo es verdadero y, por su construcción, utilizan una distribución estadística minimax en lugar de una distribución de probabilidad. Ambos factores afectan las diferencias entre las soluciones bayesianas y no bayesianas. Considere un estudio en el que el método bayesiano evalúa la probabilidad posterior de una hipótesis como tres por ciento. Imagine que el valor p es inferior al cinco por ciento. Ambos son ciertos ya que el tres por ciento es menos del cinco por ciento. No obstante, el valor p no es una probabilidad. Solo establece el valor máximo que podría ser la probabilidad de ver los datos, no la probabilidad real de que una hipótesis sea verdadera o falsa. De hecho, bajo la construcción del valor p, no se puede distinguir entre los efectos debido al azar con un nulo verdadero y un nulo falso con buenos datos.
Si observa el estudio de Wetzel, notará que es muy obvio que las probabilidades implicadas por los valores p no coinciden con las probabilidades implicadas por la medida bayesiana. Como la medida bayesiana es admisible y coherente, y la no bayesiana no es coherente, no es seguro asumir el mapa de valores p con las probabilidades verdaderas. La suposición forzada de que el valor nulo es válido proporciona buenas probabilidades de cobertura, pero no produce buenas probabilidades de juego.
Para tener una mejor idea de por qué, considere el primer axioma de Cox de que la plausibilidad de una hipótesis se puede describir con un número real. Implícitamente, esto significa que todas las hipótesis tienen un número real vinculado a su plausibilidad. En los métodos de hipótesis nula, solo el nulo tiene un número real vinculado a su plausibilidad. La hipótesis alternativa no tiene medidas hechas y ciertamente no es el complemento de la probabilidad de observar los datos dado que el nulo es verdadero. De hecho, si el nulo es verdadero, entonces el complemento es falso por suposición sin tener en cuenta los datos.
Si construyó las probabilidades usando valores p como base de su medición, entonces el Bayesiano que usa mediciones Bayesianas siempre sería capaz de obtener una ventaja sobre usted. Si el Bayesiano establece las probabilidades, entonces la teoría de decisión de Pearson y Neyman proporcionaría una declaración de apuesta o no apuesta, pero no podrían definir la cantidad a apostar. Como las probabilidades bayesianas eran justas, la ganancia esperada del uso del método de Pearson y Neyman sería cero.
De hecho, el estudio de Wetzel es realmente de lo que estás hablando, pero con 145 apuestas menos. Si observa la tabla tres, verá algunos estudios en los que el Frecuentista rechaza el nulo, pero el Bayesiano encuentra que la probabilidad favorece al nulo.