¿Quiénes son los bayesianos?

A medida que uno se interesa por las estadísticas, la dicotomía "Frecuentista" versus "Bayesiano" pronto se convierte en algo común (¿y quién no ha leído La señal y el ruido de Nate Silver , de todos modos?). En charlas y cursos introductorios, el punto de vista es abrumadoramente frecuenta ( valores MLE , ), pero suele haber una pequeña fracción de tiempo dedicado a admirar la fórmula de Bayes y tocar la idea de una distribución previa , generalmente tangencialmente.$p$

El tono empleado para discutir las estadísticas bayesianas oscila entre el respeto por sus fundamentos conceptuales y un indicio de escepticismo con respecto al abismo entre los objetivos elevados y la arbitrariedad en la selección de la distribución previa, o el uso eventual de las matemáticas frecuentistas después de todo.

Oraciones como "si eres un Bayesiano duro ..." abundan.

La pregunta es: ¿Quiénes son los bayesianos hoy? ¿Son algunas instituciones académicas selectas donde sabes que si vas allí te convertirás en bayesiano? Si es así, ¿son especialmente buscados? ¿Nos referimos a unos pocos estadísticos y matemáticos respetados, y si es así, quiénes son?

¿Existen incluso como tales, estos "bayesianos" puros? ¿Aceptarían felizmente la etiqueta? ¿Es siempre una distinción halagadora? ¿Son matemáticos con diapositivas peculiares en las reuniones, privados de cualquier valor de e intervalos de confianza, fácilmente detectables en el folleto?$p$

¿Cuánto de un nicho es ser un "bayesiano"? ¿Nos referimos a una minoría de estadísticos?

¿O el islam bayesiano actual se equipara con las aplicaciones de aprendizaje automático?

... O incluso más probable, ¿la estadística bayesiana no es tanto una rama de la estadística, sino más bien un movimiento epistemológico que trasciende el ámbito de los cálculos de probabilidad en una filosofía de la ciencia? En este sentido, todos los científicos serían bayesianos de corazón ... pero no habría un estadístico bayesiano puro impermeable a las técnicas frecuentas (o contradicciones).

Voy a responder sus preguntas en orden:

La pregunta es: ¿Quiénes son los bayesianos hoy?

Cualquiera que haga análisis de datos bayesianos y se autoidentifique como "bayesiano". Al igual que un programador es alguien que programa y se identifica a sí mismo como un "programador". Una ligera diferencia es que, por razones históricas, Bayesian tiene connotaciones ideológicas, debido al argumento a menudo acalorado entre los defensores de las interpretaciones "frecuentes" de la probabilidad y los defensores de las interpretaciones "bayesianas" de la probabilidad.

¿Son algunas instituciones académicas selectas, donde sabes que si vas allí te convertirás en bayesiano?

No, al igual que otras partes de las estadísticas, solo necesitas un buen libro (y quizás un buen maestro).

Si es así, ¿son especialmente buscados?

El análisis de datos bayesianos es una herramienta muy útil cuando se realiza el modelado estadístico, lo cual me imagino que es una habilidad muy solicitada (incluso si las compañías tal vez no están buscando específicamente "bayesianos").

¿Nos referimos a unos pocos estadísticos y matemáticos respetados, y si es así, quiénes son?

Hay muchos estadísticos respetados que creo que se llamarían a sí mismos bayesianos , pero esos no son los bayesianos.

¿Existen incluso como tales, estos "bayesianos" puros?

Eso es un poco como preguntar "¿Existen estos programadores puros"? Hay un artículo divertido llamado 46656 Variedades de Bayesianos , y seguro que hay un argumento saludable entre los "Bayesianos" con respecto a muchos temas fundamentales. Al igual que los programadores pueden discutir sobre los méritos de diferentes técnicas de programación. (Por cierto, programa de programadores puros en Haskell).

¿Aceptarían felizmente la etiqueta?

Algunos lo hacen, otros no. Cuando descubrí el análisis de datos bayesianos, pensé que era el mejor desde el pan rebanado (todavía lo hago) y me alegró llamarme "bayesiano" (no menos importante para irritar a las personas con valor p en mi departamento). Hoy en día no me gusta el término, creo que podría alienar a las personas, ya que hace que el análisis de datos bayesianos parezca una especie de culto, que no lo es, en lugar de un método útil para tener en su caja de herramientas estadísticas.

¿Es siempre una distinción halagadora?

¡No! Hasta donde yo sé, el término "Bayesiano" fue introducido por el famoso estadístico Fisher como un término despectivo. Antes de eso se llamaba "probabilidad inversa" o simplemente "probabilidad".

¿Son matemáticos con diapositivas peculiares en las reuniones, privados de cualquier valor de p e intervalos de confianza, fácilmente detectables en el folleto?

Bueno, hay conferencias sobre estadísticas bayesianas, y no creo que incluyan tantos valores p. El hecho de que las diapositivas le resulten peculiares dependerá de sus antecedentes ...

¿Cuánto de un nicho es ser un "bayesiano"? ¿Nos referimos a una minoría de estadísticos?

Todavía creo que una minoría de estadísticos se ocupa de las estadísticas bayesianas, pero también creo que la proporción está creciendo.

¿O el islam bayesiano actual se equipara con las aplicaciones de aprendizaje automático?

No, pero los modelos bayesianos se usan mucho en el aprendizaje automático. Aquí hay un gran libro de aprendizaje automático que presenta el aprendizaje automático desde una perspectiva bayesiana / probibalística: http://www.cs.ubc.ca/~murphyk/MLbook/

Espero que haya respondido la mayoría de las preguntas :)

Actualizar:

[C] ¿podría considerar agregar una lista de técnicas o premisas específicas que distingan las estadísticas bayesianas?

Lo que distinguir estadística bayesiana es el uso de modelos bayesianos :) Aquí está mi giro en lo que es un modelo bayesiano es :

Un modelo bayesiano es un modelo estadístico en el que utiliza la probabilidad para representar toda la incertidumbre dentro del modelo, tanto la incertidumbre con respecto a la salida como también la incertidumbre con respecto a la entrada (también conocida como parámetros) al modelo. Todo el teorema anterior / posterior / Bayes sigue a esto, pero en mi opinión, usar la probabilidad para todo es lo que lo hace bayesiano (y, de hecho, una palabra mejor tal vez sea algo así como un modelo probabilístico).

Ahora, los modelos bayesianos pueden ser difíciles de ajustar , y hay una gran cantidad de técnicas computacionales diferentes que se utilizan para esto. Pero estas técnicas no son bayesianas en sí mismas. Para nombrar algunas técnicas computacionales:

• Cadena Markov Monte Carlo
  • Metrópolis-Hastings
  • Muestreo de Gibbs
  • Hamiltoniano Monte Carlo
• Bayes Variacionales
• Cálculo bayesiano aproximado
• Filtros de partículas
• Aproximación de Laplace
• Y así...

¿Quién fue el famoso estadístico que introdujo el término 'Bayesiano' como despectivo?

Supuestamente era Ronald Fisher. El documento ¿ Cuándo se convirtió la inferencia bayesiana en "bayesiana"? da la historia del término "bayesiano".

Los bayesianos son personas que definen las probabilidades como una representación numérica de la plausibilidad de alguna proposición. Los frecuentes son personas que definen las probabilidades como la representación de frecuencias a largo plazo. Si solo está satisfecho con una u otra de estas definiciones, entonces es bayesiano o frecuentista. Si está satisfecho con cualquiera de los dos y utiliza la definición más adecuada para la tarea en cuestión, ¡entonces es un estadístico! ; o) Básicamente, se reduce a la definición de una probabilidad, y espero que la mayoría de los estadísticos que trabajan puedan ver los beneficios y las desventajas de ambos enfoques.

insinuación de escepticismo con respecto al abismo entre objetivos elevados, y arbitrariedad en la selección de la distribución previa, o el uso eventual de las matemáticas frecuentistas después de todo.

El escepticismo también va en la otra dirección. El frequentismo se inventó con el elevado objetivo de eliminar la subjetividad del pensamiento existente sobre probabilidad y estadística. Sin embargo, la subjetividad todavía está allí (por ejemplo, al determinar el nivel apropiado de significancia en la prueba de hipótesis), pero simplemente no se hace explícita o, a menudo, simplemente se ignora .

Andrew Gelman , por ejemplo, profesor de estadística y ciencias políticas en la Universidad de Columbia, es un destacado bayesiano.

Sospecho que la mayoría de los becarios de ISBA probablemente también se considerarían bayesianos.

En general, los siguientes temas de investigación generalmente reflejan un enfoque bayesiano. Si lees artículos sobre ellos, es probable que los autores se describan a sí mismos como "bayesianos"

• Markov-Chain Monte Carlo
• Métodos Bayesianos Variacionales (el nombre lo delata)
• Filtrado de Partículas
• Programación probabilística

Hoy, todos somos bayesianos , pero hay un mundo más allá de estos dos campos: probabilidad algorítmica. No estoy seguro de cuál es la referencia estándar sobre este tema, pero hay un hermoso artículo de Kolmogorov sobre complejidad algorítmica: AN Kolmogorov, Tres enfoques para la definición del concepto "cantidad de información" , Probl. Peredachi Inf., 1965, Volumen 1, Número 1, 3–11. Estoy seguro de que hay una traducción al inglés.

En este artículo, define la cantidad de información de tres maneras: combinatoria, probabilística y (nueva) algorítmica. Combinatoria se asigna directamente a frecuentista, Probabilist no corresponde directamente a Bayesiano, pero es compatible con él.

ACTUALIZACIÓN: Si está interesado en la filosofía de la probabilidad, entonces quiero señalar un trabajo muy interesante " Los orígenes y el legado de Grundbegriffe de Kolmogorov"por Glenn Shafer y Vladimir Vovk. Olvidamos todo antes de Kolmogorov, y sucedieron muchas cosas antes de su trabajo seminal. Por otro lado, no sabemos mucho acerca de sus puntos de vista filosóficos. En general se cree que él era un frecuentista, por ejemplo. La realidad es que vivió en la Unión Soviética en 1930 ', donde era bastante peligroso aventurarse en la filosofía, literalmente, podía meterse en problemas existenciales, lo que hizo algún científico (terminó en las cárceles GULAG). , se vio obligado a indicar implícitamente que era un frecuentista. Creo que en realidad no era solo un matemático, sino un científico, y tenía una visión compleja de la aplicabilidad de la teoría de la probabilidad a la realidad.

También hay otro artículo de Vovk sobre el enfoque algorítmico de Kolmogorov a la aleatoriedad: las contribuciones de Kolmogorov a los fundamentos de la probabilidad

Vovk ha creado un enfoque teórico de juego para las probabilidades, también muy interesante.

$P(B|E)$$B$$E$$P(E|B)$

ACTUALIZACIÓN 3:

También quería señalar algo en el trabajo original de Kolmogorov que los practicantes no conocen comúnmente por alguna razón (o se olvidan fácilmente). Tenía una sección sobre conectar la teoría con la realidad. En particular, estableció dos condiciones para usar la teoría:

• R. si repite el experimento muchas veces, la frecuencia de ocurrencia diferirá solo en una pequeña cantidad de la probabilidad, prácticamente seguro
• B. Si la probabilidad es muy pequeña, si realiza el experimento solo una vez, puede estar prácticamente seguro de que el evento no ocurrirá

Hay diferentes interpretaciones de estas condiciones, pero la mayoría de la gente estaría de acuerdo en que estas no son las opiniones del frecuentista puro. Kolmogorov declaró que sigue el enfoque de von Mises hasta cierto punto, pero parecía indicar que las cosas no son tan simples como parece. A menudo pienso en la condición B, y no puedo llegar a una conclusión estable, se ve un poco diferente cada vez que pienso en ello.

El Bayesiano más "núcleo duro" que conozco es Edwin Jaynes , fallecido en 1998. Esperaría encontrar más Bayesianos "núcleo duro" entre sus alumnos, especialmente el coautor póstumo de su trabajo principal Probability Theory: The Lógica de la ciencia , Larry Bretthorst. Otros Bayesianos históricos notables incluyen Harold Jeffreys y Leonard Savage . Si bien no tengo una visión general completa del campo, mi impresión es que la popularidad más reciente de los métodos bayesianos (especialmente en el aprendizaje automático) no se debe a una profunda convicción filosófica, sino a la posición pragmática de que los métodos bayesianos han demostrado ser útiles en muchos aplicaciones. Creo que típico para este puesto es Andrew Gelman .

No sé quiénes son los bayesianos (aunque supongo que debería tener una distribución previa para eso), pero sí sé quiénes no son.

Para citar al eminente, ahora desaparecido bayesiano, DV Lindley, "no hay nadie menos bayesiano que un bayesiano empírico". Sección empírica de Bayes de Métodos bayesianos: un enfoque de ciencias sociales y del comportamiento, segunda edición de Jeff Gill . Significado Supongo que incluso los "Frecuentistas" piensan en qué modelo tiene sentido (la elección de una forma de modelo en cierto sentido constituye un previo), a diferencia de los Bayesianos empíricos que son totalmente mecánicos sobre todo.

Creo que en la práctica no hay mucha diferencia en los resultados del análisis estadístico realizado por los mejores bayesianos y frequentistas. Lo que da miedo es cuando ves a un estadístico de baja calidad que trata de modelarse rígidamente (nunca lo observó con una mujer) después de su modelo ideológico con absoluta pureza ideológica, y enfoca el análisis exactamente como cree que lo haría, pero sin el calidad de pensamiento y juicio que tiene el modelo a seguir. Eso puede resultar en muy malos análisis y recomendaciones. Creo que los ideólogos de núcleo ultraduro, pero de baja calidad, son mucho más comunes entre los bayesianos que los frequentistas. Esto se aplica particularmente en el Análisis de decisiones.

Probablemente llegue demasiado tarde a esta discusión para que alguien se dé cuenta de esto, pero creo que es una pena que nadie haya señalado el hecho de que la diferencia más importante entre los enfoques bayesiano y frequentista es que los bayesianos (en su mayoría) usan métodos que respetan el principio de probabilidad mientras que los frequentistas casi invariablemente no lo hacen. El principio de probabilidad dice que la evidencia relevante para el parámetro del modelo estadístico de interés está completamente contenida en la función de probabilidad relevante.

Los frecuentes que se preocupan por la teoría o la filosofía estadística deberían estar mucho más preocupados por los argumentos sobre la validez del principio de probabilidad que por los argumentos sobre la distinción entre la frecuencia y las interpretaciones parciales de creencias de probabilidad y sobre la conveniencia de probabilidades previas. Si bien es posible que coexistan diferentes interpretaciones de probabilidad sin conflicto y que algunas personas elijan suministrar un previo sin requerir que otros lo hagan, si el principio de probabilidad es verdadero en sentido positivo o normativo, muchos métodos frequentistas pierden sus pretensiones a la óptimaidad. Los ataques frecuentes sobre el principio de probabilidad son vehementes porque ese principio socava su visión estadística del mundo, pero la mayoría de esos ataques pierden su marca ( http://arxiv.org/abs/1507.08394)

Puede creer que es bayesiano, pero probablemente esté equivocado ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Los bayesianos derivan la distribución de probabilidad de los resultados de interés dada la creencia previa / información previa. Para un Bayesiano, esta distribución (y sus resúmenes) es lo que a la mayoría de la gente le interesará. Contrasta con los resultados "frecuentas" típicos que le dicen cuál es la posibilidad de ver resultados como o más extremos que los observados dado que la hipótesis nula es verdadera ( valor p) o estimaciones de intervalo para el parámetro de interés, el 95% de las cuales contendría el valor verdadero si pudiera hacer un muestreo repetido (intervalo de confianza).

Las distribuciones previas bayesianas son polémicas porque son TU anterior. No hay un "correcto" anterior. La mayoría de los bayesianos pragmáticos buscan evidencia externa que pueda usarse para los antecedentes y luego la descartan o modifican según lo que se espera que sea "razonable" para el caso particular. Por ejemplo, los antecedentes escépticos pueden tener un "bulto" de probabilidad en un caso nulo: "¿Qué tan buenos serían los datos para hacerme cambiar de opinión / cambiar la práctica actual?" La mayoría también considerará la robustez de las inferencias a diferentes antecedentes.

Hay un grupo de bayesianos que analizan los antecedentes de "referencia" que les permiten construir inferencias que no están "influenciadas" por creencias previas, por lo que obtienen declaraciones probabilísticas y estimaciones de intervalos que tienen propiedades "frecuentas".

También hay un grupo de "Hardcore Bayesianos" que podrían abogar por no elegir un modelo (todos los modelos están equivocados), y que podrían argumentar que el análisis exploratorio seguramente influirá en sus antecedentes y, por lo tanto, no debería hacerse. Sin embargo, hay pocos tan radicales ...

En la mayoría de los campos de las estadísticas, encontrará análisis y profesionales bayesianos. Del mismo modo que encontrarás algunas personas que prefieren no paramétricos ...

Solo para abordar su última pregunta (¡así que no busco un premio!), Sobre un vínculo entre un enfoque bayesiano / frequentista y la posición epistemológica, el autor más interesante que he encontrado es Deborah Mayo. Un buen punto de partida es este intercambio de 2010 entre Mayo y Andrew Gelman (que emerge aquí como un bayesiano algo herético). Más tarde, Mayo publicó una respuesta detallada al artículo de Gelman & Shalizi aquí .

Aquí se incluye un subconjunto de todos los bayesianos, es decir, aquellos bayesianos que se molestaron en enviar un correo electrónico .

Llamaría a Bruno de Finetti y LJ Savage Bayesians. Trabajaron sobre sus fundamentos filosóficos.

Para comprender el debate fundamental entre frecuentas y bayesianos, sería difícil encontrar una voz más autorizada que Bradley Efron.

Este tema ha sido un tema que ha tocado en numerosas ocasiones en su carrera, pero personalmente encontré útil uno de sus documentos más antiguos: Controversias en los fundamentos de la estadística (este ganó un premio a la excelencia expositiva).