Piensa como un bayesiano, verifica como un frecuentista: ¿qué significa eso?

35

Estoy viendo algunas diapositivas de conferencias sobre un curso de ciencias de datos que se pueden encontrar aquí:

https://github.com/cs109/2015/blob/master/Lectures/01-Introduction.pdf

Lamentablemente, no puedo ver el video de esta conferencia y en un punto de la diapositiva, el presentador tiene el siguiente texto:

Algunos principios clave

Piensa como un Bayesiano, verifica como un Frequentista (reconciliación)

¿Alguien sabe lo que eso realmente significa? Tengo la sensación de que hay una buena idea acerca de estas dos escuelas de pensamiento que se pueden extraer de esto.

bayesian data-mining frequentist

— Luca
fuente

2

Piense que puede tener que ver con la verificación del modelo: vea ¿Por qué no se le permite a un Bayesiano mirar los residuos? .

— Scortchi - Restablece a Monica

@Scortchi De lo que deduzco, ¿esto no tiene que ver con la separación de los conjuntos de datos de capacitación, validación y prueba de una manera o tal vez un Bayesiano no puede ajustar los anteriores incluso durante la fase de capacitación del modelo (para usar un término ML aquí). Sin embargo, todavía estoy confundido en cuanto a lo que significa el cheque como un frecuente ...

— Luca

1

Un Bayesiano "adecuado" nunca ajusta sus antecedentes, sino que solo los actualiza de acuerdo con nueva información utilizando el Teorema de Bayes. Pero solo estoy adivinando de qué podría tratarse este "principio clave".

— Scortchi - Restablece a Monica

44

No pude cargar el enlace. Supongo que significan que incluso si usa métodos bayesianos, debe preocuparse por las características de operación Frequentista: si está generando intervalos creíbles del 95% que son extremadamente ajustados, pero en la práctica cubren el verdadero parámetro de interés el 20% del tiempo, deberías preocuparte? Un bayesiano demasiado rígido podría decir "no" (pero en realidad existen muy pocos bayesianos de tal rigidez).

— Cliff AB

3

Mirando hacia adelante en las futuras diapositivas, están respaldando Empirical Bayes. Esto se puede ver en el siguiente conjunto de diapositivas

— Cliff AB

32

La principal diferencia entre las escuelas de estadística bayesianas y frecuentistas surge debido a una diferencia en la interpretación de la probabilidad. Una probabilidad bayesiana es una declaración sobre la creencia personal de que un evento ocurrirá (o ha ocurrido). Una probabilidad frecuentista es una declaración sobre la proporción de eventos similares que ocurren en el límite a medida que aumenta el número de esos eventos.

Para mí, "pensar como un bayesiano" significa actualizar su creencia personal a medida que surge nueva información y "verificar [o preocuparse] como un frecuentista" significa preocuparse por el desempeño de los procedimientos estadísticos agregados a lo largo de los tiempos en que se utilizan esos procedimientos, por ejemplo, cuál es la cobertura de intervalos creíbles, cuáles son las tasas de error Tipo I / II, etc.

— jaradniemi
fuente

1

Gracias por su respuesta. ¡Conciso y efectivo incluso para laicos como yo!

— Luca

2

¿No es posible verificar o preocuparse como un bayesiano investigando la influencia de los antecedentes o usando uno no informativo? ¿Es esto solo aplicable a los análisis secuenciales? Se ha trabajado mucho sobre dónde se cruzan las estadísticas bayesianas y frecuentes con los análisis secuenciales, la "actualización de creencias" no es esencial, y las estadísticas secuenciales se pueden hacer rigurosas en el contexto frecuentista.

— AdamO

1

Sí, es posible preocuparse como un bayesiano, por ejemplo, investigar la influencia de su anterior. No, mi respuesta no solo es aplicable a los análisis secuenciales, es decir, la nueva información podría surgir de una vez.

— jaradniemi

15

Las estadísticas bayesianas resumen las creencias, mientras que las estadísticas frecuentistas resumen la evidencia. Los bayesianos ven la probabilidad como un grado de creencia. Este tipo de razonamiento inclusivo y generativo es útil para formular hipótesis. Por ejemplo, los bayesianos pueden asignar arbitrariamente cierta probabilidad a la noción de que la luna está hecha de queso verde, independientemente de si los astronautas realmente han podido viajar allí para verificar esto. Esta hipótesis quizás esté respaldada por la idea de que, de lejos, la luna se vecomo el queso verde Los frecuentes no pueden concebir singularmente una hipótesis que sea más que un hombre de paja, ni pueden decir que la evidencia favorece una hipótesis sobre otra. Incluso la máxima probabilidad solo genera una estadística que es "más consistente con lo observado". Formalmente, las estadísticas bayesianas nos permiten pensar fuera de la caja y proponer ideas defendibles a partir de los datos. Pero esto es estrictamente hipótesis generadora en la naturaleza.

Las estadísticas frecuentes se aplican mejor para confirmar hipótesis. Cuando un experimento se lleva a cabo bien, las estadísticas frecuentas proporcionan un contexto de "observador independiente" o "empírico" a los hallazgos evitando los antecedentes. Esto es consistente con la filosofía de la ciencia de Karl Popper. El punto de evidencia no es promulgar una idea determinada. Mucha evidencia es consistente con hipótesis incorrectas. La evidencia puede simplemente falsificar creencias.

La influencia de los antecedentes generalmente se considera un sesgo en el razonamiento estadístico. Como saben, podemos inventar una gran cantidad de razones por las cuales suceden las cosas. Psicológicamente, muchas personas creen que nuestro sesgo de observador es el resultado de antecedentes en nuestro cerebro que nos impiden realmente pesar lo que vemos. "La esperanza nubla la observación", como dijo la Reverenda Madre en Dune. Popper hizo esta idea rigurosa.

Esto tuvo una gran importancia histórica en algunos de los más grandes experimentos científicos de nuestro tiempo. Por ejemplo, John Snow recolectó meticulosamente evidencia de la epidemia de cólera y concluyó astutamente que el cólera no es causado por privación moral, y señaló que la evidencia era altamente consistente con la contaminación de las aguas residuales: tenga en cuenta que no concluyóesto, los hallazgos de Snow fueron anteriores al descubrimiento de bacterias, y no hubo una comprensión mecanicista o etiológica. Un discurso similar se encuentra en Origen de las especies. En realidad, no sabíamos si la luna estaba hecha de queso verde hasta que los astronautas realmente aterrizaron en la superficie y recolectaron muestras. En ese punto, los posteriores bayesianos han asignado muy, muy baja probabilidad a cualquier otra posibilidad, y los frequentistas en el mejor de los casos pueden decir que las muestras son altamente inconsistentes con cualquier cosa, excepto el polvo de la luna.

En resumen, las estadísticas bayesianas son susceptibles de generar hipótesis y las estadísticas frecuentistas son susceptibles de confirmación de hipótesis. Asegurar que los datos se recopilen de forma independiente en estos esfuerzos es uno de los mayores desafíos que enfrentan los estadísticos modernos.

— AdamO
fuente

1

Gracias por la respuesta. ¿Qué quisiste decir cuando dijiste Plenty of evidence is consistent with incorrect hypotheses?

— Luca

2

@Luca Se podría encontrar un ejemplo estadístico común en la confusión. Por ejemplo, podría decir: "Fumar les da a los adolescentes una mejor función pulmonar". Podría ir más allá para racionalizar esto diciendo que fumar es un estimulante que estimula una mejor actividad física, un apetito más saludable y una socialización saludable. Si recopilara datos, de hecho mostrarían que los adolescentes que fuman tienen una mejor función pulmonar. La conclusión asociativa es correcta, pero la causal es falsa. La relación se ve confundida por la edad, ya que los niños mayores tienen más probabilidades de fumar.

— AdamO

¡Gracias! He aprendido mucho de esta respuesta muy bien escrita.

— Luca

5

Según Cliff ABel comentario al OP, parece que se dirigen hacia una filosofía empírica bayesiana. Hay tres escuelas de pensamiento bayesianas principales, y Empirical Bayes estima los antecedentes de los datos, a menudo con métodos frecuentistas. Eso no se ajusta exactamente a la cita (lo que implica Bayes por adelantado, preocupaciones similares a las de los frecuentistas después), pero no debemos pasar Cliff ABpor alto el excelente comentario.

Además, había, y puede haber, una escuela de Bayesiana que pensó que no tenía que verificar nada después de un procedimiento Bayesiano. El pensamiento más moderno usaría verificaciones predictivas posteriores, y quizás ese tipo de enfoque de doble verificación de sus respuestas es a lo que se refiere la cita.

Además, la filosofía frecuentista se refiere a los procedimientos más que a las inferencias de los datos. Entonces, quizás eso también sea una pista del significado de la cita.

— Wayne
fuente

Creo que usted se ha referido a mi primer comentario, y mi segunda observación fue que después de una inspección más cercana, estás en lo correcto que se refieren específicamente a muy empíricos de Bayes. En realidad estaba decepcionado de que la cita era simplemente una aprobación de Bayes empíricos en lugar de una llamada más general a considerar las ventajas de ambas escuelas de pensamiento. Oh bien.

— Acantilado AB

2

En el contexto de esta clase de ciencias de datos, mi interpretación de "cheque como un frequentist" es que evalúe el desempeño de su función de predicción o la función de decisión sobre la validación de datos en poder de salida. El consejo de "pensar como un bayesiano" expresa la opinión de que una función de predicción derivada de un enfoque bayesiano generalmente dará buenos resultados.

— DavidR
fuente

(haciendo de abogado del diablo :) ¿Por qué enfoque bayesiano dar "buenos resultados" y frequentist no?

— Tim

Los métodos bayesianos son prescriptivos sobre el enfoque. Frecuentistas estadísticas pueden ser vistos como parte de la teoría de decisión, y le da un marco para evaluar cualquier función de decisión (ya sea basado en bayesiano o algún principio frequentist). Ciertos métodos, tales como métodos de máxima verosimilitud, se utiliza a menudo en un contexto frequentist porque tienen buenas propiedades frecuentistas (por ejemplo asintóticamente lo hacen lo correcto, y llegar más rápido que la mayoría de otros métodos). Un método bayesiano sin duda podría ser utilizado por un frequentist, pero tendrían diferentes razones para usarlo.

— DavidR

Los métodos bayesianos también tienen mucho en común con la teoría de la decisión. Yo también no creo que los métodos bayesianos pueden utilizarse en el contexto frequentist - es más bien al revés (¿cómo imaginar el uso de distribuciones a priori en el contexto frequentist?): Muchos métodos bayesianos frecuentistas tienen interpretaciones. No creo que tenga sentido discutir esto, lo que digo es que sus declaraciones simplifican un poco las cosas.

— Tim

Uno puede probar muchas buenas propiedades frecuentas sobre los enfoques bayesianos, por lo que, en ese sentido, hacer algo bayesiano es bastante seguro, siempre que tenga suficientes datos.

— DavidR

1

Supongamos que quiero estimar la probabilidad p de caras en un lanzamiento de moneda. Como bayesiano, comenzaría con un previo sobre la probabilidad p, observaría algunos datos y luego obtendría un posterior en p. Necesitamos llegar a una estimación puntual de p, y elijo usar la media de mi distribución posterior como mi estimación puntual. En total, esto describe un método para pasar de datos a una estimación puntual. Este método puede evaluarse de forma frecuenta: por ejemplo, ¿está sesgado? ¿consistente? asintóticamente eficiente? El hecho de que un prior estuviera involucrado no debería, per se, preocupar al frecuentista.

— DavidR

1

Suena como "pensar como un bayesiano, verificar como un frecuentista" se refiere al enfoque de uno en el diseño y análisis estadístico. Según tengo entendido, el pensamiento bayesiano implica cierta creencia sobre situaciones anteriores (experimental o estadísticamente), digamos, por ejemplo, que las puntuaciones medias de lectura para los alumnos de cuarto grado son 80 palabras por minuto, y que alguna intervención podría aumentar esto a 90 palabras por minuto . Estas son creencias basadas en estudios e hipótesis previas. El pensamiento frecuente extrapola los hallazgos (de la intervención) para obtener intervalos de confianza u otras estadísticas que se basan en la frecuencia o probabilidad teórica y práctica de que estos resultados vuelvan a ocurrir (es decir, cuán "con frecuencia"). Por ejemplo, la puntuación de lectura posterior a la intervención puede ser de 91 palabras por minuto con un intervalo de confianza del 95% de 85 a 97 palabras por minuto y un valor p asociado (valor de probabilidad) de que sea diferente de la puntuación previa a la intervención. Entonces, el 95% del tiempo, los nuevos puntajes de lectura estarían entre 85 y 97 palabras por minuto después de la intervención. Por lo tanto, "piense como un bayesiano", es decir, teorice, plantee hipótesis, mire pruebas anteriores y "verifique como un frecuentista", es decir, con qué frecuencia se producirán estos resultados experimentales y qué tan probable es que se deban a oportunidad más que la intervención. los nuevos puntajes de lectura estarían entre 85 y 97 palabras por minuto después de la intervención. Por lo tanto, "piense como un bayesiano", es decir, teorice, plantee hipótesis, mire pruebas anteriores y "verifique como un frecuentista", es decir, con qué frecuencia se producirán estos resultados experimentales y qué tan probable es que se deban a oportunidad más que la intervención. los nuevos puntajes de lectura estarían entre 85 y 97 palabras por minuto después de la intervención. Por lo tanto, "piense como un bayesiano", es decir, teorice, plantee hipótesis, mire pruebas anteriores y "verifique como un frecuentista", es decir, con qué frecuencia se producirán estos resultados experimentales y qué tan probable es que se deban a oportunidad más que la intervención.

— Jeremy
fuente

2

Su última oración, la parte de "verificar como un frecuentista", realmente no tiene nada que ver con la configuración frecuentista: la estimación bayesiana también le dirá "con qué frecuencia" esperamos que ocurra algo o "qué tan probable" es ...

— Tim