¿Adónde fue el debate bayesiano frecuentista?

El mundo de las estadísticas se dividió entre frecuentistas y bayesianos. En estos días parece que todos hacen un poco de ambas cosas. ¿Cómo puede ser esto? Si los diferentes enfoques son adecuados para diferentes problemas, ¿por qué los padres fundadores de las estadísticas no vieron esto? Alternativamente, ¿han ganado el debate los frequentistas y los verdaderos bayesianos subjetivos pasaron a la teoría de la decisión?

De hecho, estoy ligeramente en desacuerdo con la premisa. Todos son bayesianos, si realmente tienen una distribución de probabilidad que les fue entregada previamente. El problema surge cuando no lo hacen, y creo que todavía hay una división bastante buena en ese tema.

Habiendo dicho eso, sin embargo, estoy de acuerdo en que cada vez más personas están menos inclinadas a pelear guerras santas y simplemente continúan haciendo lo que parece apropiado en cualquier situación dada.

Diría que, a medida que avanzó la profesión, ambas partes se dieron cuenta de que había ventajas en los enfoques de la otra parte. Los bayesianos se dieron cuenta de que evaluar qué tan bien funcionarían los procedimientos bayesianos si se usaran una y otra vez (por ejemplo, ¿este intervalo creíble (IC) del 95% realmente contiene el parámetro verdadero aproximadamente el 95% del tiempo) requería una perspectiva frecuentista. Sin esto, no hay calibración de ese "95%" para ningún número del mundo real. Robustez? ¿Construcción de modelos mediante ajuste iterativo, etc.? Ideas que surgieron en el mundo frecuentista, y que fueron adaptadas por los bayesianos a partir de finales de la década de 1980 más o menos. Los frecuentes se dieron cuenta de que la regularización era buena y la usan con bastante frecuencia en estos días, y los antecedentes bayesianos pueden interpretarse fácilmente como regularización. ¿Modelado no paramétrico a través de splines cúbicos con una función de penalización? ¡Tu penalización es mi prior! Ahora todos podemos llevarnos bien.

La otra gran influencia, creo, es la asombrosa mejora en la disponibilidad de software de alta calidad que le permitirá hacer análisis rápidamente. Esto viene en dos partes: algoritmos, por ejemplo, muestreo de Gibbs y Metropolis-Hastings, y el software en sí, R, SAS, ... Podría ser más bayesiano si tuviera que escribir todo mi código en C (simplemente no tendría tiempo para probar nada más), pero como es, usaré gam en el paquete mgcv en R cada vez que mi modelo parezca que puedo encajarlo en ese marco sin apretar demasiado, y estoy un mejor estadístico para ello. Familiarizarse con los métodos de su oponente y darse cuenta de cuánto esfuerzo puede ahorrar / mejor calidad que puede proporcionar para usarlos en algunas situaciones, a pesar de que pueden no encajar al 100% en su marco predeterminado para pensar en un problema,

Esta es una pregunta difícil de responder. El número de personas que realmente hacen ambas cosas todavía es muy limitado. Los bayesianos de núcleo duro desprecian a los usuarios de las estadísticas convencionales por su uso de los valores , una estadística sin sentido, internamente inconsistente para los bayesianos; y los estadísticos principales simplemente no conocen los métodos bayesianos lo suficientemente bien como para comentarlos. A la luz de esto, verá muchas críticas a las pruebas de significación de hipótesis nulas en la literatura bayesiana (que van hasta revistas de biología pura o psicología pura), con poca o ninguna respuesta de los principales.$p$

Hay manifestaciones conflictivas en cuanto a "quién ganó el debate" en la profesión estadística. Por un lado, la composición de un departamento de estadísticas promedio es que en la mayoría de los lugares, encontrará 10-15 integradores principales frente a 1-2 bayesianos, aunque algunos departamentos son puramente bayesianos, sin ningún integrador principal, excepto probablemente para puestos de consultoría (Harvard, Duke, Carnegie Mellon, Columbia Británica, Montreal en Norteamérica; estoy menos familiarizado con la escena europea). Por otro lado, verá que en revistas como JASA o JRSS, probablemente el 25-30% de los artículos son bayesianos. En cierto modo, el renacimiento bayesiano puede ser algo así como el estallido de los documentos de ANOVA en la década de 1950: en aquel entonces, la gente pensaba que casi cualquier problema de estadística puede enmarcarse como un problema de ANOVA; ahora mismo,

Mi sensación es que las áreas aplicadas no se molestan en descifrar los detalles filosóficos, y simplemente van con lo que sea más fácil de trabajar. La metodología bayesiana es demasiado complicada: además de las estadísticas, también debe aprender el arte de la computación (configuración de la muestra, bloqueo, diagnóstico de convergencia, bla, bla, bla) y estar preparado para defender sus antecedentes (si usa objetivos previos, o debe usar anteriores informativos si el campo se ha asentado más o menos en la velocidad de la luz que es 3e8 m / s, o incluso si la elección del anterior afecta si su posterior será adecuado o no). Entonces, en la mayoría de las aplicaciones médicas o de psicología o economía, verá los enfoques principales en los documentos escritos por investigadores sustantivos,

Un área donde, creo, el marco bayesiano todavía se está quedando corto es el diagnóstico de modelos, y esa es un área importante para los profesionales. En el mundo bayesiano, para diagnosticar un modelo, debe construir uno más complicado y elegir el que mejor se ajuste al factor bayesiano o BIC. Entonces, si no le gusta la suposición de normalidad para su regresión lineal, puede construir una regresión con errores de Student y dejar que los datos generen una estimación de los grados de libertad, o puede volverse todo elegante y tener un proceso Dirichlet para su términos de error y hacer algunos saltos MH entre diferentes modelos. El enfoque principal sería construir un gráfico QQ de residuos estudiados y eliminar valores atípicos, y esto es, una vez más, mucho más simple.

Edité un capítulo en un libro sobre esto; consulte http://onlinelibrary.wiley.com/doi/10.1002/9780470583333.ch5/summary . Es un artículo muy arquetípico, en el que se dieron alrededor de 80 referencias sobre este debate, todas apoyando el punto de vista bayesiano. (Le pedí al autor que lo extendiera en una versión revisada, que dice mucho al respecto :)). Jim Berger de Duke, uno de los principales teóricos bayesianos, dio varias conferencias y escribió una serie de artículos muy reflexivos sobre el tema.

Hay una buena razón para seguir teniendo ambas, que es que un buen artesano querrá seleccionar la mejor herramienta para la tarea en cuestión, y tanto los métodos bayesianos como los frecuentistas tienen aplicaciones donde son la mejor herramienta para el trabajo.

Sin embargo, a menudo se usa la herramienta incorrecta para el trabajo porque las estadísticas frecuentas son más susceptibles a un enfoque de "libro de cocina de estadísticas" que las hace más fáciles de aplicar en ciencia e ingeniería que sus contrapartes bayesianas, a pesar de que los métodos bayesianos proporcionan una respuesta más directa a la pregunta planteada (que generalmente es lo que podemos inferir de la muestra particular de datos que realmente tenemos). No estoy muy a favor de esto, ya que el enfoque del "libro de cocina" conduce al uso de estadísticas sin una comprensión sólida de lo que realmente está haciendo, razón por la cual surgen una y otra vez cosas como la falacia del valor p.

Sin embargo, a medida que pasa el tiempo, las herramientas de software para el enfoque bayesiano mejorarán y se usarán con más frecuencia como dice correctamente Jbowman.

Soy un bayesiano por inclinación (parece tener mucho más sentido para mí que el enfoque frecuentista), sin embargo, termino usando estadísticas frecuentistas en mis documentos, en parte porque tendré problemas con los revisores si uso las estadísticas bayesianas ya que será "no estándar".

Finalmente (algo en lengua en la mejilla; o), para citar a Max Plank "Una nueva verdad científica no triunfa al convencer a sus oponentes y hacer que vean la luz, sino más bien porque sus oponentes eventualmente mueren, y una nueva generación crece y es familiar con eso."

No creo que los frequentistas y los bayesianos den respuestas diferentes a las mismas preguntas. Creo que están preparados para responder diferentes preguntas . Por lo tanto, no creo que tenga sentido hablar mucho sobre un lado ganador, o incluso hablar de compromiso.

Considere todas las preguntas que podríamos querer hacer. Muchas son preguntas imposibles ("¿Cuál es el verdadero valor de ?"). Es más útil considerar el subconjunto de estas preguntas que pueden responderse dados varios supuestos. El subconjunto más grande son las preguntas que se pueden responder cuando te permites usar priors. Llame a este conjunto BF. Hay un subconjunto de BF, que es el conjunto de preguntas que no dependen de ningún previo. Llame a este segundo subconjunto F. F es un subconjunto de BF. Definir B = BF \ B.$\theta$

Sin embargo, no podemos elegir qué preguntas responder. Para hacer inferencias útiles sobre el mundo, a veces tenemos que responder preguntas que están en B y eso significa usar un previo.

Idealmente, dado un estimador, haría un análisis exhaustivo. Puede usar un previo, pero también sería genial si pudiera probar cosas buenas sobre su estimador que no dependen de ningún previo. Eso no significa que puedas deshacerte de lo anterior, tal vez las preguntas realmente interesantes requieren un previo.

Todos están de acuerdo sobre cómo responder las preguntas en F. ¿La preocupación es si las preguntas realmente 'interesantes' están en F o en B?

Un ejemplo: un paciente entra al médico y está sano (H) o enfermo (S). Hay una prueba que ejecutamos, que arrojará resultados positivos (+) o negativos (-). La prueba nunca da falsos negativos, es decir, . Pero a veces dará falsos positivos: P ( + | H ) = $\mathcal{P}(-|S) = 0$$\mathcal{P}(+|H) = 0.05$

Tenemos una tarjeta y la máquina de prueba escribirá + o - en un lado de la tarjeta. Imagine, si lo desea, que tenemos un oráculo que de alguna manera sabe la verdad, y este oráculo escribe el verdadero estado, H o S, en el otro lado de la tarjeta antes de poner la tarjeta en un sobre.

Como médico capacitado estadísticamente, ¿qué podemos decir sobre la tarjeta en la envoltura antes de abrir la tarjeta? Se pueden hacer las siguientes declaraciones (estas están en F arriba):

• $\mathcal{P}(+|S) = 1$
• $\mathcal{P}(-|H) = 0.95$
• $\mathcal{P}( (-,S) \cup (+,H) ) \geq 0.95$

$\mathcal{P}( (-,S) )$$\mathcal{P}( (+,H) )$$\mathcal{P}(S)$

Esto es lo más lejos que podemos llegar tan lejos. Antes de abrir el sobre , podemos hacer declaraciones muy positivas sobre la precisión de la prueba. Hay (al menos) 95% de probabilidad de que el resultado de la prueba coincida con la verdad.

Pero, ¿qué sucede cuando en realidad abrimos la tarjeta? Dado que el resultado de la prueba es positivo (o negativo), ¿qué podemos decir acerca de si están sanos o enfermos?

$\mathcal{P}(S)$$\mathcal{P}(S)$

En este simple ejemplo, está claro que todas las personas con un resultado negativo en la prueba son saludables. No hay falsos negativos y, por lo tanto, todos los estadísticos enviarán felizmente a ese paciente a casa. Por lo tanto, no tiene sentido pagar por el consejo de un estadístico a menos que el resultado de la prueba haya sido positivo .

Los tres puntos anteriores son correctos y bastante simples. ¡Pero también son inútiles! La pregunta realmente interesante, en este modelo ciertamente inventado, es:

$\mathcal{P}(S)$

No niego que este sea quizás un modelo demasiado simplificado, pero sí demuestra que si queremos hacer declaraciones útiles sobre la salud de esos pacientes, debemos comenzar con alguna creencia previa sobre su salud.

Como verá, hay bastante debate frecuentista-bayesiano. De hecho, creo que hace más calor que nunca y menos dogmático. Quizás te interese mi blog: http://errorstatistics.com

Muchas personas (aparte de los expertos especialistas) que piensan que son frecuentistas son, de hecho, bayesianas. Esto hace que el debate sea un poco inútil. Creo que el bayesianismo ganó, pero que todavía hay muchos bayesianos que piensan que son frecuentistas. Hay algunas personas que piensan que no usan priors y, por lo tanto, piensan que son frecuentas. Esta es una lógica peligrosa. Esto no se trata tanto de antecedentes (anteriores uniformes o no uniformes), la diferencia real es más sutil.

(No estoy formalmente en el departamento de estadística; mi formación es matemática e informática. Estoy escribiendo debido a las dificultades que he tenido para tratar de discutir este 'debate' con otros no estadísticos, e incluso con algunos de los primeros años de mi carrera estadísticos)

El MLE es en realidad un método bayesiano. Algunas personas dirán "Soy frecuente porque uso el MLE para estimar mis parámetros". He visto esto en literatura revisada por pares. Esto no tiene sentido y se basa en este mito (no dicho, pero implícito) de que un frecuentista es alguien que usa un prior uniforme en lugar de un prior no uniforme).

$\mu = 0$$\theta$

$X \equiv N(\mu = 0, \sigma^2 = \theta)$

$x$$\theta$$\theta$$x$

$f(x,\theta) = \mathrm{P}_{\sigma^2=\theta} (X=x) = \frac{1}{\sqrt{2\pi \theta}} e^{-\frac{x^2}{2\theta}}$

$x$$\theta$

$\theta$$\theta$$x$

Esta distinción entre los cortes horizontales y verticales es crucial, y descubrí que esta analogía me ayudó a comprender el enfoque frecuentista del sesgo .

Un bayesiano es alguien que dice

$\theta$$f(x,\theta)$

$g(\theta)$

$\theta$$f(x,\theta)g(\theta)$

Entonces, un Bayesiano corrige x y mira el corte vertical correspondiente en ese diagrama de contorno (o en el diagrama de variantes que incorpora el anterior). En este segmento, el área debajo de la curva no necesita ser 1 (como dije antes). Un intervalo bayesiano de 95% creíble (IC) es el intervalo que contiene el 95% del área disponible. Por ejemplo, si el área es 2, entonces el área bajo el CI bayesiano debe ser 1.9.

$\theta$

$\theta$

$\mathcal{N}(\mu=0, \sigma^2 = \theta)$$\theta$$x$$-3\sqrt\theta$$+3\sqrt\theta$

$\theta$

Esta no es la única forma de construir el CI frecuente, ni siquiera es bueno (estrecho), pero tengan paciencia conmigo por un momento.

La mejor manera de interpretar la palabra 'intervalo' no es como un intervalo en una línea 1-d, sino pensarlo como un área en el plano 2-d anterior. Un 'intervalo' es un subconjunto del plano 2-d, no de ninguna línea 1-d. Si alguien propone tal 'intervalo', entonces tenemos que probar si el 'intervalo' es válido a un nivel de confianza / credibilidad del 95%.

Un frecuentista verificará la validez de este 'intervalo' al considerar cada corte horizontal a su vez y mirar el área debajo de la curva. Como dije antes, el área bajo esta curva siempre será una. El requisito crucial es que el área dentro del 'intervalo' sea ​​al menos 0,95.

Un Bayesiano verificará la validez al mirar las rebanadas verticales. Nuevamente, el área debajo de la curva se comparará con la subárea que está debajo del intervalo. Si el último es al menos el 95% del primero, entonces el "intervalo" es un intervalo bayesiano creíble válido del 95%.

Ahora que sabemos cómo probar si un intervalo particular es 'válido', la pregunta es cómo elegimos la mejor opción entre las opciones válidas. Esto puede ser un arte negro, pero generalmente desea el intervalo más estrecho. Ambos enfoques tienden a coincidir aquí: se consideran los cortes verticales y el objetivo es hacer que el intervalo sea lo más estrecho posible dentro de cada corte vertical.

No he intentado definir el intervalo de confianza frecuentista más estrecho posible en el ejemplo anterior. Vea los comentarios de @cardinal a continuación para ver ejemplos de intervalos más estrechos. Mi objetivo no es encontrar los mejores intervalos, sino enfatizar la diferencia entre los cortes horizontales y verticales para determinar la validez. Un intervalo que satisfaga las condiciones de un intervalo de confianza frecuentista del 95% generalmente no satisfará las condiciones de un intervalo creíble bayesiano del 95%, y viceversa.

Ambos enfoques desean intervalos estrechos, es decir, al considerar un corte vertical, queremos que el intervalo (1-d) en ese corte sea lo más estrecho posible. La diferencia está en cómo se aplica el 95%: un frecuentista solo mirará los intervalos propuestos donde el 95% del área de cada corte horizontal está por debajo del intervalo, mientras que un Bayesiano insistirá en que cada corte vertical sea tal que el 95% de su área esté debajo del intervalo

Muchos no estadísticos no entienden esto y se centran solo en los cortes verticales; esto los hace bayesianos incluso si piensan lo contrario.