¿Es la estadística bayesiana realmente una mejora sobre las estadísticas tradicionales (frecuentas) para la investigación conductual?

Mientras asistía a conferencias, los defensores de las estadísticas bayesianas presionaron un poco para evaluar los resultados de los experimentos. Se jacta de ser más sensible, apropiado y selectivo hacia hallazgos genuinos (menos falsos positivos) que las estadísticas frecuentistas.

He explorado un poco el tema, y hasta ahora no me convencen los beneficios de utilizar las estadísticas bayesianas. Sin embargo, los análisis bayesianos se utilizaron para refutar la investigación de Daryl Bem que apoya la precognición, por lo que sigo cautelosamente curioso acerca de cómo los análisis bayesianos podrían beneficiar incluso mi propia investigación.

Así que tengo curiosidad por lo siguiente:

Poder en un análisis bayesiano versus un análisis frecuentista
Susceptibilidad al error tipo 1 en cada tipo de análisis
La compensación en la complejidad del análisis (Bayesiano parece más complicado) frente a los beneficios obtenidos. Los análisis estadísticos tradicionales son sencillos, con pautas bien establecidas para sacar conclusiones. La simplicidad podría verse como un beneficio. ¿Vale la pena renunciar?

Gracias por cualquier idea!

bayesian power frequentist

— una parada
fuente

Las estadísticas bayesianas son estadísticas tradicionales. ¿Puede dar un ejemplo concreto de lo que quiere decir ser estadísticas tradicionales?

@OphirYoktan: Está hablando de la probabilidad de frecuencia versus la probabilidad bayesiana. Incluso se menciona en el título de la pregunta.

Creo que esta pregunta debería moverse aquí: stats.stackexchange.com

— Mark Lapierre

Hice una pregunta sobre meta sobre si esto debería ser sobre el tema.

Creo que esta pregunta puede tener una respuesta "buena" o "correcta". Por ejemplo, si alguien pudiera decir "por cada prueba frecuente con error tipo 1

y error tipo 2

, existe una prueba bayesiana con error tipo 1

y error tipo 2

", esta sería una buena respuesta. O algo así como "toda prueba frecuente es equivalente a una prueba bayesiana con antecedentes no informativos". Es decir, esto no tiene que ser una guerra religiosa entre frecuentistas y bayesianos. Solo estoy discutiendo porque no entiendo cómo las respuestas se relacionan con las preguntas específicas en OP.

α

$\alpha$

β

$\beta$

α

$\alpha$

β - x

$\beta - x$

— SheldonCooper

Respuestas:

Una respuesta rápida al contenido con viñetas:

1) Error de potencia / tipo 1 en un análisis bayesiano frente a un análisis frecuentista

Preguntar sobre el Tipo 1 y la potencia (es decir, uno menos la probabilidad de error del Tipo 2) implica que puede colocar su problema de inferencia en un marco de muestreo repetido. ¿Puedes? Si no puede, no hay más remedio que alejarse de las herramientas de inferencia frecuentas. Si puede, y si el comportamiento de su estimador en muchas de esas muestras es relevante, y si no está particularmente interesado en hacer declaraciones de probabilidad sobre eventos particulares, entonces no hay una razón sólida para moverse.

El argumento aquí no es que tales situaciones nunca surgen, ciertamente lo hacen, sino que generalmente no surgen en los campos donde se aplican los métodos.

2) La compensación en la complejidad del análisis (Bayesiano parece más complicado) frente a los beneficios obtenidos.

Es importante preguntar a dónde va la complejidad. En los procedimientos frecuentistas, la implementación puede ser muy simple, por ejemplo, minimizar la suma de los cuadrados, pero los principios pueden ser arbitrariamente complejos, generalmente girando en torno a qué estimador (es) elegir, cómo encontrar la (s) prueba (s) correcta (s), qué pensar cuando No están de acuerdo. Para un ejemplo. ¡Vea la discusión aún animada, recogida en este foro, de diferentes intervalos de confianza para una proporción!

En los procedimientos bayesianos, la implementación puede ser arbitrariamente compleja incluso en modelos que parecen 'deberían' ser simples, generalmente debido a integrales difíciles, pero los principios son extremadamente simples. Más bien depende de dónde le gustaría que esté el desorden.

3) Los análisis estadísticos tradicionales son sencillos, con pautas bien establecidas para sacar conclusiones.

Personalmente, ya no puedo recordarlo, pero ciertamente mis alumnos nunca lo encontraron sencillo, principalmente debido a la proliferación principal descrita anteriormente. Pero la pregunta no es realmente si un procedimiento es sencillo, sino si está más cerca de ser correcto dada la estructura del problema.

Finalmente, estoy totalmente en desacuerdo con que existen "pautas bien establecidas para sacar conclusiones" en ambos paradigmas. Y creo que eso es algo bueno . Claro, "encontrar p <.05" es una guía clara, pero ¿para qué modelo, con qué correcciones, etc.? ¿Y qué hago cuando mis pruebas no están de acuerdo? El juicio científico o de ingeniería es necesario aquí, como lo es en otros lugares.

— conjugadoprior
fuente

No estoy seguro de que preguntar sobre errores tipo 1 / tipo 2 implique algo sobre un marco de muestreo repetido. Parece que incluso si mi hipótesis nula no se puede muestrear repetidamente, todavía tiene sentido preguntar sobre la probabilidad de error de tipo 1. La probabilidad en este caso, por supuesto, no está sobre todas las hipótesis posibles, sino sobre todas las muestras posibles de mi hipótesis única.

— SheldonCooper

Me parece que el argumento general es el siguiente: aunque cometer un error de tipo 1 (o 2) se puede definir para una inferencia de 'un disparo' (Tipo 1 vs 2 es solo parte de una tipología de errores que puedo cometer) a menos que mi cometer este error está incrustado en pruebas repetidas, ninguno de los tipos de error puede tener una probabilidad frecuentista.

— conjugateprior

Lo que digo es que cometer un error tipo 1 (o 2) siempre está incrustado en pruebas repetidas. Cada ensayo está muestreando un conjunto de observaciones de la hipótesis nula. Entonces, incluso si es difícil imaginar el muestreo de una hipótesis diferente, los ensayos repetidos todavía están allí porque es fácil imaginar el muestreo de un conjunto diferente de observaciones de esa misma hipótesis.

— SheldonCooper

Adivina esto: ¿cómo se decide "qué es al azar"? Por ejemplo, suponga que tiene una urna, alguien está tomando muestras "al azar" de la urna. Supongamos también que un "observador inteligente" también está presente, y ellos conocen el contenido exacto de la urna. ¿Sigue el muestreo "al azar" aunque el "observador inteligente" pueda predecir con certeza exactamente lo que se extraerá? ¿Ha cambiado algo en la urna si ya no están presentes?

— probabilistico

El problema que tengo con la naturaleza "repetida" de los frecuentistas es que, para trabajar, las condiciones deben seguir siendo las mismas. Pero si las condiciones siguen siendo las mismas, debería poder agrupar sus conjuntos de datos y obtener una mejor estimación. El frecuentista ignora la información pasada precisamente bajo las condiciones cuando es razonable tenerla en cuenta.

— probabilidadislogica

Las estadísticas bayesianas pueden derivarse de algunos principios lógicos. Intente buscar "probabilidad como lógica extendida" y encontrará un análisis más profundo de los fundamentos. Pero básicamente, las estadísticas bayesianas se basan en tres "desiderata" básicos o principios normativos:

La plausibilidad de una proposición debe ser representada por un solo número real
$p(A|C^{(0)})$ $C^{(0)}\rightarrow C^{(1)}$ $p(A|C^{(1)})>p(A|C^{(0)})$ $p(B|A C^{(0)})=p(B|AC^{(1)})$ $p(AB| C^{(0)})\leq p(AB|C^{(1)})$ $p(\overline{A}|C^{(1)})<p(\overline{A}|C^{(0)})$
La posibilidad de una propuesta debe calcularse de manera consistente . Esto significa a) si una plausibilidad se puede razonar de más de 1 manera, todas las respuestas deben ser iguales; b) En dos problemas en los que se nos presenta la misma información, debemos asignar las mismas posibilidades; yc) debemos tener en cuenta toda la información disponible. No debemos agregar información que no está allí, y no debemos ignorar la información que tenemos.

Estos tres desiderata (junto con las reglas de la lógica y la teoría de conjuntos) determinan de manera única las reglas de suma y producto de la teoría de la probabilidad. Por lo tanto, si desea razonar de acuerdo con los tres desideratas anteriores, deben adoptar un enfoque bayesiano. No tiene que adoptar la "Filosofía Bayesiana" pero debe adoptar los resultados numéricos. Los primeros tres capítulos de este libro describen estos con más detalle y proporcionan la prueba.

Y por último, pero no menos importante, la "maquinaria bayesiana" es la herramienta de procesamiento de datos más poderosa que tiene. Esto se debe principalmente a que la desiderata 3c) utiliza toda la información que tiene (esto también explica por qué Bayes puede ser más complicado que los no Bayes). Puede ser bastante difícil decidir "qué es relevante" utilizando su intuición. El teorema de Bayes hace esto por usted (y lo hace sin agregar suposiciones arbitrarias, también debido a 3c).

$H_0$ $H_1$ $L_1$ $H_0$ $L_2$ $H_0$

$P(H_0|E_1,E_2,\dots)$ $E_i$
$P(H_1|E_1,E_2,\dots)$
$O=\frac{P(H_0|E_1,E_2,\dots)}{P(H_1|E_1,E_2,\dots)}$
$H_0$ $O > \frac{L_2}{L_1}$

$H_0$ $O>>1$ $H_1$ $O<<1$ $O\approx 1$

Ahora, si el cálculo se vuelve "demasiado difícil", debe aproximar los números o ignorar alguna información.

Para ver un ejemplo real con números resueltos, vea mi respuesta a esta pregunta

— probabilidadislogica
fuente

No estoy seguro de cómo esto responde la pregunta. Los frecuentes, por supuesto, no están de acuerdo con el desideratum 1 de esta lista, por lo que el resto del argumento no se aplica a ellos. Tampoco responde ninguna de las preguntas específicas en el OP, como "es el análisis bayesiano más poderoso o menos propenso a errores que un análisis frecuentista".

— SheldonCooper

@sheldoncooper: si un frecuentista no está de acuerdo con el desideratum 1, ¿sobre qué base puede construir un intervalo de confianza del 95%? Deben requerir un número adicional.

— probabilidadislogica

@sheldoncooper, y además, las probabilidades de muestreo tendrían que redefinirse, porque también son solo 1 número. Un frecuentista no puede rechazar el desideratum 1 sin rechazar su propia teoría

— Probabilidad

p (H_{1} | . . .)

$p(H_1|...)$

p (E_{1}, E_{2}, . . . | H_{0})

$p(E_1, E_2, ... | H_0)$

H_{0}

$H_0$

"No pueden rechazar el desideratum 1 sin rechazar su propia teoría". ¿Qué quiere decir con eso? Los frecuentes no tienen noción de "plausibilidad". Tienen una noción de "frecuencia de ocurrencia en ensayos repetidos". Esta frecuencia satisface condiciones similares a las tres desideratas y, por lo tanto, sigue reglas similares. Por lo tanto, para cualquier cosa para la que se define la noción de frecuencia, puede usar leyes de probabilidad sin ningún problema.

— SheldonCooper

Yo mismo no estoy familiarizado con las estadísticas bayesianas, pero sí sé que el episodio 294 de la Guía del escéptico del universo tiene una entrevista con Eric-Jan Wagenmakers donde discuten las estadísticas bayesianas. Aquí hay un enlace al podcast: http://www.theskepticsguide.org/archive/podcastinfo.aspx?mid=1&pid=294