¿Existe alguna base * matemática * para el debate bayesiano versus frecuentista?

Dice en Wikipedia que:

la matemática [de la probabilidad] es en gran medida independiente de cualquier interpretación de la probabilidad.

Pregunta: Entonces, si queremos ser matemáticamente correctos, ¿no deberíamos rechazar cualquier interpretación de la probabilidad? Es decir, ¿tanto el bayesiano como el frecuentismo son matemáticamente incorrectos?

No me gusta la filosofía, pero me gustan las matemáticas, y quiero trabajar exclusivamente en el marco de los axiomas de Kolmogorov. Si este es mi objetivo, ¿debería deducirse de lo que dice en Wikipedia que debería rechazar tanto el bayesianismo como el frecuentismo? Si los conceptos son puramente filosóficos y nada matemáticos, ¿por qué aparecen en estadística en primer lugar?

Antecedentes / Contexto:
Esta publicación de blog no dice exactamente lo mismo, pero argumenta que intentar clasificar las técnicas como "bayesianas" o "frecuentas" es contraproducente desde una perspectiva pragmática.

Si la cita de Wikipedia es cierta, parece que desde una perspectiva filosófica intentar clasificar los métodos estadísticos también es contraproducente: si un método es matemáticamente correcto, entonces es válido usar el método cuando las suposiciones de las matemáticas subyacentes mantener, de lo contrario, si no es matemáticamente correcto o si los supuestos no se cumplen, entonces no es válido usarlo.

Por otro lado, muchas personas parecen identificar la "inferencia bayesiana" con la teoría de la probabilidad (es decir, los axiomas de Kolmogorov), aunque no estoy muy seguro de por qué. Algunos ejemplos son el tratado de Jaynes sobre inferencia bayesiana llamado "Probabilidad", así como el libro de James Stone "La regla de Bayes". Entonces, si tomé estas afirmaciones al pie de la letra, eso significa que debería preferir el bayesianismo.

Sin embargo, el libro de Casella y Berger parece ser frecuente porque discute estimadores de máxima verosimilitud pero ignora los estimadores a posteriori máximos, pero también parece que todo lo que contiene es matemáticamente correcto.

Entonces, ¿no se deduciría que la única versión matemáticamente correcta de las estadísticas es la que se niega a ser cualquier cosa menos completamente agnóstica con respecto al bayesianismo y el frecuentismo? Si los métodos con ambas clasificaciones son matemáticamente correctos, ¿no es una práctica inadecuada preferir algunos sobre los otros, porque eso sería priorizar una filosofía vaga y mal definida sobre matemáticas precisas y bien definidas?

Resumen: En resumen, no entiendo cuál es la base matemática para el debate bayesiano versus el frecuentista, y si no hay una base matemática para el debate (que es lo que afirma Wikipedia), no entiendo por qué se tolera en todo en discurso académico.

Espacios de probabilidad y axiomas de Kolmogorov

Un espacio de probabilidad es, por definición, un triple donde es un conjunto de resultados, es un álgebra en los subconjuntos de y es una medida de probabilidad que cumple los axiomas de Kolmogorov, es decir, es una función de a tal que y para disjunto en sostiene que ( Ω , F , P ) Ω F σ Ω P P F [ 0 , 1 ] P ( Ω ) = 1 E 1 , E 2 , … F P ( ∪ ∞ j = 1 E j ) = ∑ ∞ j = 1 P ( E j$\mathcal{P}$$(\Omega, \mathcal{F}, \mathbb{P} )$$\Omega$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$$\mathbb{P}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\Omega)=1$$E_1, E_2, \dots$$\mathcal{F}$$P \left( \cup_{j=1}^\infty E_j \right)=\sum_{j=1}^\infty \mathbb{P}(E_j)$.

Dentro de dicho espacio de probabilidad, uno puede, para dos eventos en definir la probabilidad condicional comoF P ( E 1 | E 2 ) d e f = P ( E 1 ∩ E 2$E_1, E_2$$\mathcal{F}$$\mathbb{P}(E_1|_{E_2})\stackrel{def}{=}\frac{\mathbb{P}(E_1 \cap E_2)}{\mathbb{P}(E_2)}$

Tenga en cuenta que:

1. esta '' probabilidad condicional '' solo se define cuando se define en , por lo que necesitamos un espacio de probabilidad para poder definir probabilidades condicionales.$\mathbb{P}$$\mathcal{F}$
2. Un espacio de probabilidad se define en términos muy generales ( un conjunto , un álgebra y una medida de probabilidad ), el único requisito es que se deben cumplir ciertas propiedades, pero aparte de eso Estos tres elementos pueden ser "cualquier cosa".σ F $\Omega$ $\sigma$$\mathcal{F}$$\mathbb{P}$

Más detalles se pueden encontrar en este enlace

La regla de Bayes se cumple en cualquier espacio de probabilidad (válido)

De la definición de probabilidad condicional también sostiene que . Y de las dos últimas ecuaciones encontramos la regla de Bayes. Entonces, la regla de Bayes se mantiene (por definición de probabilidad condicional) en cualquier espacio de probabilidad (para mostrarlo, deriva y de cada ecuación y ecualiza ellos (son iguales porque la intersección es conmutativa)). $\mathbb{P}(E_2|_{E_1})=\frac{\mathbb{P}(E_2 \cap E_1)}{\mathbb{P}(E_1)}$$\mathbb{P}(E_1 \cap E_2)$$\mathbb{P}(E_2 \cap E_1)$

Como la regla de Bayes es la base para la inferencia bayesiana, se puede hacer un análisis bayesiano en cualquier espacio de probabilidad válido (es decir, que cumpla con todas las condiciones, ao los axiomas de Kolmogorov).

La definición de probabilidad frecuente es un "caso especial"

Lo anterior contiene '' en general '', es decir, no tenemos en mente , , siempre que sea ​​un álgebra en subconjuntos de y cumple los axiomas de Kolmogorov.$\Omega$$\mathcal{F}$$\mathbb{P}$$\mathcal{F}$$\sigma$$\Omega$$\mathbb{P}$

Ahora mostraremos que una definición "frecuentista" de cumple los axiomas de Kolomogorov. Si ese es el caso, entonces las probabilidades "frecuentistas" son solo un caso especial de la probabilidad general y abstracta de Kolmogorov. $\mathbb{P}$

Tomemos un ejemplo y tiremos los dados. Entonces el conjunto de todos los resultados posibles es . También necesitamos un álgebra en este conjunto y tomamos el conjunto de todos los subconjuntos de , es decir, .$\Omega$$\Omega=\{1,2,3,4,5,6\}$$\sigma$$\Omega$$\mathcal{F}$$\Omega$$\mathcal{F}=2^\Omega$

Todavía tenemos que definir la medida de probabilidad de una manera frecuente. Por lo tanto, definimos como donde es el número de obtenido en tiradas de los dados. Similar para , ... .$\mathbb{P}$$\mathbb{P}(\{1\})$$\mathbb{P}(\{1\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1}{n}$$n_1$$1$$n$$\mathbb{P}(\{2\})$$\mathbb{P}(\{6\})$

De esta manera, se define para todos los singletons en . Para cualquier otro conjunto en , por ejemplo, definimos de una manera frecuente, es decir, , pero por la linealidad de 'lim', esto es igual a , lo que implica que los axiomas de Kolmogorov se mantienen.$\mathbb{P}$$\mathcal{F}$$\mathcal{F}$$\{1,2\}$$\mathbb{P}(\{1,2\})$$\mathbb{P}(\{1,2\}) \stackrel{def}{=} \lim_{n \to +\infty} \frac{n_1+n_2}{n}$$\mathbb{P}(\{1\})+\mathbb{P}(\{2\})$

Entonces, la definición frecuentista de probabilidad es solo un caso especial de la definición general y abstracta de Kolomogorov de una medida de probabilidad.

Tenga en cuenta que hay otras formas de definir una medida de probabilidad que cumpla con los axiomas de Kolmogorov, por lo que la definición frecuentista no es la única posible.

Conclusión

La probabilidad en el sistema axiomático de Kolmogorov es "abstracta", no tiene un significado real, solo tiene que cumplir las condiciones llamadas "axiomas". Usando solo estos axiomas, Kolmogorov pudo derivar un conjunto muy rico de teoremas.

La definición frecuentista de probabilidad llena los axiomas y, por lo tanto, reemplaza el resumen "sin sentido" por una probabilidad definida de manera frecuentista, todos estos teoremas son válidos porque la "probabilidad frecuentista" es solo un especial caso de probabilidad abstracta de Kolmogorov (es decir, cumple los axiomas).$\mathbb{P}$

Una de las propiedades que se pueden derivar en el marco general de Kolmogorov es la regla de Bayes. Como se mantiene en el marco general y abstracto, también se mantendrá (cfr supra) en el caso específico de que las probabilidades se definan de manera frecuentista (porque la definición frecuentista cumple los axiomas y estos axiomas eran lo único que se necesita para derivar todos los teoremas). Entonces uno puede hacer un análisis bayesiano con una definición frecuentista de probabilidad.

Definir de manera frecuentista no es la única posibilidad, hay otras formas de definirlo de modo que cumpla con los axiomas abstractos de Kolmogorov. La regla de Bayes también se mantendrá en estos "casos específicos". Por lo tanto, también se puede hacer un análisis bayesiano con una definición de probabilidad no frecuente.$\mathbb{P}$

EDITAR 23/8/2016

@mpiktas reacción a tu comentario:

Como dije, los conjuntos y la medida de probabilidad no tienen un significado particular en el sistema axiomático, son abstractos. $\Omega, \mathcal{F}$$\mathbb{P}$

Para aplicar esta teoría, debe dar más definiciones (por lo que lo que dice en su comentario "no es necesario confundirlo más con algunas definiciones extrañas" es incorrecto, necesita definiciones adicionales ).

Vamos a aplicarlo al caso de lanzar una moneda justa. El conjunto en la teoría de Kolmogorov no tiene un significado particular, solo tiene que ser "un conjunto". Por lo tanto, debemos especificar cuál es este conjunto en el caso de la moneda justa, es decir, debemos definir el conjunto . Si representamos la cabeza como H y la cola como T, entonces el conjunto es por definición .$\Omega$$\Omega$$\Omega$ $\Omega\stackrel{def}{=}\{H,T\}$

También tenemos que definir los eventos, es decir, álgebra . Definimos es como . Es fácil verificar que es un álgebra.$\sigma$$\mathcal{F}$$\mathcal{F} \stackrel{def}{=} \{\emptyset, \{H\},\{T\},\{H,T\} \}$$\mathcal{F}$$\sigma$

A continuación, debemos definir para cada evento en su medida. Entonces necesitamos definir un mapa de en . Lo definiré de la manera más frecuente, para una moneda justa, si la lanzo una gran cantidad de veces, entonces la fracción de caras será 0.5, así que defino . De manera similar, defino , y . Tenga en cuenta que es un mapa de en y que cumple los axiomas de Kolmogorov.$E \in \mathcal{F}$$\mathcal{F}$$[0,1]$$\mathbb{P}(\{H\})\stackrel{def}{=}0.5$$\mathbb{P}(\{T\})\stackrel{def}{=}0.5$$\mathbb{P}(\{H,T\})\stackrel{def}{=}1$$\mathbb{P}(\emptyset)\stackrel{def}{=}0$$\mathbb{P}$$\mathcal{F}$$[0,1]$

Para una referencia con la definición frecuentista de probabilidad, vea este enlace (al final de la sección 'definición') y este enlace .

Las estadísticas no son matemáticas

Primero, robo las palabras de @ whuber de un comentario en Estadísticas no es matemática. (aplicado en un contexto diferente, así que estoy robando palabras, no citando):

Si reemplazara "estadísticas" por "química", "economía", "ingeniería" o cualquier otro campo que emplee las matemáticas (como la economía doméstica), parece que ninguno de sus argumentos cambiaría.

Todos estos campos pueden existir y tener preguntas que no se resuelven solo verificando qué teoremas son correctos. ¿Aunque algunas respuestas en Stats no son matemáticas? no estoy de acuerdo, creo que está claro que la estadística no es matemática (pura). Si quieres hacer teoría de la probabilidad, una rama de las matemáticas (puras), puedes ignorar todos los debates del tipo sobre el que preguntas. Si desea aplicar la teoría de la probabilidad al modelar algunas preguntas del mundo real, necesita algo más que lo guíe que solo los axiomas y los teoremas del marco matemático. El resto de la respuesta está divagando sobre este punto.

La afirmación "si queremos ser matemáticamente correctos, no deberíamos rechazar cualquier interpretación de la probabilidad" también parece injustificada. Poner una interpretación encima de un marco matemático no hace que las matemáticas sean incorrectas (siempre y cuando no se afirme que la interpretación sea un teorema en el marco matemático).

El debate no es (principalmente) sobre axiomas

Aunque hay algunas axiomatizaciones alternativas *, el debate (?) No se trata de disputar los axiomas de Kolmogorov. Ignorando algunas sutilezas con los eventos de condicionamiento de medida cero, lo que lleva a una probabilidad condicional regular, etc., sobre la cual no sé lo suficiente, los axiomas de Kolmogorov y la probabilidad condicional implican la regla de Bayes, que nadie discute. Sin embargo, si ni siquiera es una variable aleatoria en su modelo (modelo en el sentido de la configuración matemática que consiste en un espacio de probabilidad o una familia de ellos, variables aleatorias, etc.), por supuesto, no es posible calcular el condicional distribución . Nadie también discute que las propiedades de frecuencia, si se calculan correctamente, son consecuencias del modelo. Por ejemplo, las distribuciones condicionales$X$$P(X\mid Y)$$p(y\mid \theta)$en un modelo bayesiano, defina una familia indexada de distribuciones de probabilidad simplemente dejando que y si algunos resultados son válidos para todos en este último, también son válidas para all en el primero.$p(y; \theta)$$p(y \mid \theta) = p(y; \theta)$$\theta$$\theta$

El debate trata sobre cómo aplicar las matemáticas.

Los debates (tanto como los que existen **), tratan sobre cómo decidir qué tipo de modelo de probabilidad establecer para un problema (de la vida real, no matemático) y qué implicaciones del modelo son relevantes para el dibujo (real -vida) conclusiones. Pero estas preguntas existirían incluso si todos los estadísticos estuvieran de acuerdo. Para citar la publicación de blog que ha vinculado a [1], queremos responder preguntas como

¿Cómo debo diseñar una ruleta para que mi casino gane $? ¿Este fertilizante aumenta el rendimiento del cultivo? ¿La estreptomicina cura la tuberculosis pulmonar? ¿Fumar causa cáncer? ¿Qué película disfrutaría este usuario? ¿A qué jugador de béisbol deberían dar los Red Sox un contrato? ¿Debe este paciente recibir quimioterapia?

Los axiomas de la teoría de la probabilidad ni siquiera contienen una definición de béisbol, por lo que es obvio que "los Medias Rojas deberían dar un contrato al jugador de béisbol X" no es un teorema en la teoría de la probabilidad.

Nota sobre las justificaciones matemáticas del enfoque bayesiano

Existen "justificaciones matemáticas" para considerar todas las incógnitas como probabilísticas, como el teorema de Cox al que se refiere Jaynes, (aunque escucho que tiene problemas matemáticos, que pueden o no haber sido arreglados, no sé, vea [2] y referencias allí) o el enfoque Salvaje (bayesiano subjetivo) (he oído que esto está en [3] pero nunca he leído el libro) que demuestra que bajo ciertos supuestos, un tomador de decisiones racional tendrá una distribución de probabilidad sobre los estados del mundo y seleccione su acción en función de maximizar el valor esperado de una función de utilidad. Sin embargo, si el gerente de los Medias Rojas debe aceptar o no los supuestos, o si debemos aceptar la teoría de que fumar causa cáncer, no puede deducirse de ningún marco matemático,

Notas al pie

* No lo he estudiado, pero he oído que De Finetti tiene un enfoque en el que las probabilidades condicionales son primitivas en lugar de ser obtenidas de la medida (incondicional) por condicionamiento. [4] menciona un debate entre (bayesianos) José Bernardo, Dennis Lindley y Bruno de Finetti en un acogedor restaurante francés sobre si se necesita -adititividad.$\sigma$

** como se menciona en la publicación de blog a la que se vincula [1], puede que no haya un debate claro con todos los estadísticos que pertenecen a un equipo y desprecian al otro equipo. He oído decir que todos somos pragmáticos hoy en día y que el debate inútil ha terminado. Sin embargo, en mi experiencia, estas diferencias existen, por ejemplo, en si el primer enfoque de alguien es modelar todas las incógnitas como variables aleatorias o no y qué tan interesado está alguien en las garantías de frecuencia.

Referencias

[1] Simply Statistics, un blog estadístico de Rafa Irizarry, Roger Peng y Jeff Leek, "Declaro el debate Bayesiano vs. Frecuentista sobre los científicos de datos", 13 de octubre de 2014, http://simplystatistics.org/2014/10 / 13 / como-un-estadístico-aplicado-yo-encuentro-los-frecuentas-contra-bayesianos-debate-completamente-intrascendente /

[2] Dupré, MJ y Tipler, FJ (2009). Nuevos axiomas para la rigurosa probabilidad bayesiana. Análisis Bayesiano, 4 (3), 599-606. http://projecteuclid.org/download/pdf_1/euclid.ba/1340369856

[3] Salvaje, LJ (1972). Los fundamentos de la estadística. Corporación de mensajería.

[4] Bernardo, JM The Valencia Story - Algunos detalles del origen y desarrollo de las Reuniones Internacionales de Valencia sobre Estadísticas Bayesianas. http://www.uv.es/bernardo/ValenciaStory.pdf

La base matemática para el debate bayesiano vs frecuentista es muy simple. En las estadísticas bayesianas, el parámetro desconocido se trata como una variable aleatoria; En las estadísticas frecuentistas se trata como un elemento fijo. Dado que una variable aleatoria es un objeto matemático mucho más complicado que un elemento simple del conjunto, la diferencia matemática es bastante evidente.

Sin embargo, resulta que los resultados reales en términos de modelos pueden ser sorprendentemente similares. Tome la regresión lineal, por ejemplo. La regresión lineal bayesiana con antecedentes no informativos conduce a una distribución de una estimación del parámetro de regresión, cuya media es igual a la estimación del parámetro de regresión lineal frecuentista, que es una solución a un problema de mínimos cuadrados, que ni siquiera es un problema de la teoría de la probabilidad . Sin embargo, las matemáticas que se utilizaron para llegar a una solución similar son bastante diferentes, por la razón mencionada anteriormente.

Naturalmente, debido a la diferencia de tratamiento de las propiedades matemáticas de parámetros desconocidos (variable aleatoria versus elemento del conjunto), tanto las estadísticas bayesianas como las frecuentas frecuentan los casos en los que podría parecer más ventajoso utilizar un enfoque competitivo. Los intervalos de confianza son un excelente ejemplo. No tener que depender de MCMC para obtener una estimación simple es otra. Sin embargo, estos suelen ser más cuestiones de gustos y no de matemáticas.

No me gusta la filosofía, pero me gustan las matemáticas, y quiero trabajar exclusivamente en el marco de los axiomas de Kolmogorov.

¿Cómo aplicarías exactamente los axiomas de Kolmogorov solos sin ninguna interpretación? ¿Cómo haría usted interpretar la probabilidad? ¿Qué le dirías a alguien que te preguntara "¿Qué significa tu estimación de probabilidad ?" $0.5$¿Diría que su resultado es un número$0.5$, ¿cuál es correcto ya que sigue los axiomas? Sin ninguna interpretación, no podría decir que esto sugiere con qué frecuencia esperaríamos ver el resultado si repetimos nuestro experimento. Tampoco podría decir que este número le dice qué tan seguro está sobre la posibilidad de que ocurra un evento. Tampoco podrías responder que esto te dice qué tan probable crees que sea el evento. ¿Cómo interpretaría el valor esperado, ya que algunos números se multiplican por otros números y se suman que son válidos ya que siguen los axiomas y algunos otros teoremas?

Si quieres aplicar las matemáticas al mundo real, entonces debes interpretarlo. Los números solos sin interpretaciones son ... números. La gente no calcula los valores esperados para estimar los valores esperados, sino para aprender algo sobre la realidad.

Además, la probabilidad es abstracta, mientras que aplicamos estadísticas (y probabilidad per se) a los acontecimientos del mundo real. Tome el ejemplo más básico: una moneda justa. En la interpretación frecuentista, si arrojas una moneda así muchas veces, esperarías la misma cantidad de caras y colas. Sin embargo, en un experimento de la vida real, esto casi nunca sucedería. Entonces, la probabilidad tiene nada que ver con una moneda en particular lanzada un número particular de veces.$0.5$

La probabilidad no existe

- Bruno de Finetti

Mi opinión sobre el contraste entre la inferencia bayesiana y la frecuentista es que el primer problema es la elección del evento para el que desea una probabilidad. Los frecuentes asumen lo que está tratando de probar (por ejemplo, una hipótesis nula) y luego calculan la probabilidad de observar algo que ya observaron, bajo ese supuesto. Existe una analogía exacta entre esas probabilidades de orden de flujo de información inversa y la sensibilidad y especificidad en el diagnóstico médico, que han causado enormes malentendidos y deben ser rescatados por la regla de Bayes para adelantar las probabilidades ("probabilidades posteriores a la prueba"). Los bayesianos calculan la probabilidad de un evento, y las probabilidades absolutas son imposibles de calcular sin un ancla (la anterior). La probabilidad bayesiana de la veracidad de un enunciado es muy diferente de la probabilidad frecuentista de observar datos bajo un supuesto desconocido. Las diferencias son más pronunciadas cuando el frecuentista debe ajustarse a otros análisis que se han realizado o podrían haberse realizado (multiplicidad; pruebas secuenciales, etc.).

Por lo tanto, la discusión de la base matemática es muy interesante y es una discusión muy apropiada para tener. Pero uno tiene que hacer una elección fundamental de probabilidades hacia adelante vs. hacia atrás. Por lo tanto, lo que está condicionado, que no es exactamente matemática, es increíblemente importante. Los bayesianos creen que el condicionamiento total de lo que ya sabes es clave. Los frecuentadores a menudo condicionan lo que hace que las matemáticas sean simples.

Lo dividiré en dos preguntas separadas y responderé cada una.

1.) Dadas las diferentes opiniones filosóficas de lo que significa la probabilidad en una perspectiva frequentista y bayesiana, ¿existen reglas matemáticas de probabilidad que se aplican a una interpretación y no se aplican a otra?

No. Las reglas de probabilidad permanecen exactamente iguales entre los dos grupos.

2.) ¿Los bayesianos y frequentistas usan los mismos modelos matemáticos para analizar datos?

En general, no. Esto se debe a que las dos interpretaciones diferentes sugieren que un investigador puede obtener información de diferentes fuentes. En particular, a menudo se piensa que el marco Frequentista sugiere que uno puede hacer inferencia sobre los parámetros de interés solo a partir de los datos observados, mientras que una perspectiva bayesiana sugiere que también se debe incluir el conocimiento experto independiente sobre el tema. Diferentes fuentes de datos significa que se utilizarán diferentes modelos matemáticos para el análisis.

También es de notar que hay muchas divisiones entre los modelos utilizados por los dos campos que están más relacionadas con lo que se ha hecho que con lo que se puede hacer.se debe hacer (es decir, muchos modelos que tradicionalmente usan un campo pueden estar justificados por el otro campo). Por ejemplo, los modelos BUG (inferencia bayesiana que usa el muestreo de Gibbs, un nombre que ya no describe con precisión el conjunto de modelos por muchas razones) se analizan tradicionalmente con métodos bayesianos, principalmente debido a la disponibilidad de excelentes paquetes de software para hacer esto (JAG, Stan por ejemplo). Sin embargo, no hay nada que diga que estos modelos deben ser estrictamente bayesianos. De hecho, trabajé en el proyecto NIMBLE que construye estos modelos en el marco de BUGs, pero permite al usuario mucha más libertad sobre cómo hacer inferencia sobre ellos. Si bien la gran mayoría de las herramientas que proporcionamos eran métodos Bayesian MCMC personalizables, también se podría utilizar la estimación de máxima verosimilitud, un método tradicionalmente frecuente, también para estos modelos. Similar, A menudo se piensa que los anteriores son lo que puedes hacer con Bayesian que no puedes hacer con los modelos Frequentistas. Sin embargo, la estimación penalizada puede proporcionar los mismos modelos utilizando estimaciones de parámetros de regularización (aunque el marco bayesiano proporciona una forma más fácil de justificar y elegir parámetros de regularización, mientras que los Frequentistas se quedan con, en el mejor de los casos, una gran cantidad de datos ", elegimos estos parámetros de regularización porque durante un gran número de muestras validadas cruzadas, redujeron el error estimado fuera de la muestra "... para bien o para mal).

Los bayesianos y los frequentistas piensan que las probabilidades representan cosas diferentes. Los frecuentes piensan que están relacionados con las frecuencias y solo tienen sentido en contextos donde las frecuencias son posibles. Los bayesianos los ven como formas de representar la incertidumbre. Como cualquier hecho puede ser incierto, puede hablar sobre la probabilidad de cualquier cosa.

La consecuencia matemática es que los Frecuentistas piensan que las ecuaciones básicas de probabilidad solo se aplican a veces, y los Bayesianos piensan que siempre se aplican. Entonces ven las mismas ecuaciones como correctas, pero difieren en cuán generales son.

Esto tiene las siguientes consecuencias prácticas:

(1) Los bayesianos derivarán sus métodos de las ecuaciones básicas de la teoría de la probabilidad (de las cuales el Teorema de Bayes es solo un ejemplo), mientras que los Frecuentistas inventan un enfoque ad-hoc intuitivo tras otro para resolver cada problema.

(2) Existen teoremas que indican que si razonas a partir de información incompleta, será mejor que uses las ecuaciones básicas de la teoría de probabilidad de manera consistente, o estarás en problemas. Mucha gente tiene dudas sobre cuán significativos son estos teoremas, sin embargo, esto es lo que vemos en la práctica.

Por ejemplo, es posible que los intervalos de confianza del 95% de aspecto inocente en el mundo real consistan completamente en valores que son demostrablemente imposibles (de la misma información utilizada para derivar el intervalo de confianza). En otras palabras, los métodos frequentistas pueden contradecir la lógica deductiva simple. Los métodos bayesianos derivados enteramente de las ecuaciones básicas de la teoría de la probabilidad no tienen este problema.

(3) Bayesiano es estrictamente más general que Frequentista. Como puede haber incertidumbre acerca de cualquier hecho, a cualquier hecho se le puede asignar una probabilidad. En particular, si los hechos en los que está trabajando están relacionados con las frecuencias del mundo real (ya sea como algo que está prediciendo o como parte de los datos), entonces los métodos bayesianos pueden considerarlos y usarlos como lo harían con cualquier otro hecho del mundo real.

En consecuencia, cualquier problema que los Frecuentistas sientan que sus métodos se aplican a los Bayesianos también puede funcionar de forma natural. Sin embargo, lo contrario a menudo no es cierto a menos que los Frecuentistas inventen subterfugios para interpretar su probabilidad como una "frecuencia" como, por ejemplo, imaginar los universos múltiples o inventar repeticiones hipotéticas hasta el infinito que nunca se realizan y que a menudo no pueden ser en principio .

Pregunta: Entonces, si queremos ser matemáticamente correctos, ¿no deberíamos rechazar cualquier interpretación de la probabilidad? Es decir, ¿tanto el bayesiano como el frecuentismo matemáticamente incorrectos?

Sí, y esto es exactamente lo que la gente hace tanto en Filosofía de la Ciencia como en Matemáticas.

1. Enfoque filosófico. Wikipedia proporciona un compendio de interpretaciones / definiciones de probabilidad .

2. Los matemáticos no son seguros. En el pasado, la escuela Kolmogorovian tenía el monopolio de la probabilidad: una probabilidad se define como una medida finita que asigna 1 a todo el espacio ... Esta hegemonía ya no es válida ya que hay nuevas tendencias en la definición de la probabilidad, como la probabilidad cuántica y probabilidad gratuito .

El debate bayes / frecuentista se basa en numerosos motivos. Si estás hablando de una base matemática, no creo que haya mucho.

Ambos necesitan aplicar varios métodos aproximados para problemas complejos. Dos ejemplos son "bootstrap" para frecuentista y "mcmc" para bayesiano.

Ambos vienen con rituales / procedimientos sobre cómo usarlos. Un ejemplo frecuente es "proponer un estimador de algo y evaluar sus propiedades bajo muestreo repetido", mientras que un ejemplo bayesiano es "calcular distribuciones de probabilidad para lo que no sabe condicionado a lo que sí sabe". No hay una base matemática para usar las probabilidades de esta manera.

El debate trata más sobre la aplicación, la interpretación y la capacidad de resolver problemas del mundo real.

De hecho, esto es usado a menudo por personas que debaten "su lado" donde usarán un "ritual / procedimiento" específico usado por el "otro lado" para argumentar que toda la teoría debería ser descartada por ellos. Algunos ejemplos incluyen ...

• usando estúpidos anteriores (y no verificándolos)
• usando CI estúpidos (y no verificándolos)
• Confundir una técnica computacional con la teoría (¡bayes no es mcmc! Lo mismo se aplica para equiparar la validación cruzada con el aprendizaje automático)
• hablando de un problema con una aplicación específica con una teoría y no cómo la otra teoría resolvería el problema específico "mejor"

Entonces, ¿no se deduciría que la única versión matemáticamente correcta de las estadísticas es la que se niega a ser cualquier cosa menos completamente agnóstica con respecto al bayesianismo y el frecuentismo? Si los métodos con ambas clasificaciones son matemáticamente correctos, ¿no es una práctica inadecuada preferir algunos sobre los otros, porque eso sería priorizar una filosofía vaga y mal definida sobre matemáticas precisas y bien definidas?

No. No sigue. Las personas que no pueden sentir sus emociones son biológicamente incapaces de tomar decisiones, incluidas las decisiones que parecen tener una única solución objetiva. La razón es que la toma de decisiones racional depende de nuestra capacidad emocional y nuestras preferencias tanto cognitivas como emocionales. Si bien eso da miedo, es la realidad empírica.

Gupta R, Koscik TR, Bechara A, Tranel D. La amígdala y la toma de decisiones. Neuropsychologia. 2011; 49 (4): 760-766. doi: 10.1016 / j.neuropsychologia.2010.09.029.

Una persona que prefiere manzanas a naranjas no puede defender esto, ya que es una preferencia. Por el contrario, una persona que prefiere las naranjas a las manzanas no puede defender esto racionalmente, ya que es una preferencia. Las personas que prefieren las manzanas a menudo comen naranjas porque el costo de las manzanas es demasiado alto en comparación con el costo de las naranjas.

Gran parte del debate bayesiano y frequentista, así como el debate verosimilista y frequentista, se centró en los errores de comprensión. Sin embargo, si imaginamos que tenemos una persona que está bien capacitada en todos los métodos, incluidos los métodos menores o que ya no se usan, como la probabilidad carnapiana o las estadísticas fiduciales, entonces es racional que prefieran algunas herramientas sobre otras herramientas.

La racionalidad solo depende de las preferencias; El comportamiento depende de las preferencias y los costos.

Puede darse el caso de que, desde una perspectiva puramente matemática, una herramienta sea mejor que la otra, donde se define mejor utilizando alguna función de costo o utilidad, pero a menos que haya una respuesta única en la que solo una herramienta podría funcionar, tanto los costos como Las preferencias deben ser sopesadas.

Considere el problema de un corredor de apuestas que considera ofrecer una apuesta compleja. Claramente, el corredor de apuestas debe usar métodos bayesianos en este caso, ya que son coherentes y tienen otras propiedades agradables, pero también imagina que el corredor de apuestas solo tiene una calculadora y ni siquiera un lápiz y papel. Puede darse el caso de que el corredor de apuestas, con el uso de su calculadora y haciendo un seguimiento de las cosas en su cabeza, pueda calcular la solución Frequentista y no tenga ninguna posibilidad en la Tierra de calcular el Bayesiano. Si está dispuesto a correr el riesgo de ser "reservado en holandés" y también considera que el costo potencial es lo suficientemente pequeño, entonces es racional para él ofrecer apuestas utilizando métodos frequentistas.

Es racional para usted ser agnóstico porque sus preferencias emocionales encuentran que eso es mejor para usted. No es racional que el campo sea agnóstico a menos que creas que todas las personas comparten tus preferencias emocionales y cognitivas, lo que sabemos que no es el caso.

En resumen, no entiendo cuál es la base matemática para el debate bayesiano versus el frecuentista, y si no hay una base matemática para el debate (que es lo que afirma Wikipedia), no entiendo por qué se tolera en absoluto en discurso académico

El propósito del debate académico es dar luz a las ideas antiguas y nuevas. Gran parte del debate bayesiano versus frequentista y del debate verosimilista versus frequentista provino de malentendidos y descuidos de pensamiento. Algunos vinieron de no llamar a las preferencias por lo que son. Una discusión sobre las virtudes de que un estimador sea imparcial y ruidoso frente a que el estimador sea parcial y preciso es una discusión sobre las preferencias emocionales, pero hasta que alguien lo tenga, es muy probable que el pensamiento en él permanezca confuso en todo el campo.

No me gusta la filosofía, pero me gustan las matemáticas, y quiero trabajar exclusivamente en el marco de los axiomas de Kolmogorov.

¿Por qué? ¿Porque prefieres Kolmogorov's a Cox's, de Finetti's o Savage's? ¿Se está infiltrando esa preferencia? Además, la probabilidad y las estadísticas no son matemáticas, usan matemáticas. Es una rama de la retórica. Para entender por qué esto puede importar, considere su declaración:

si un método es matemáticamente correcto, entonces es válido usar el método cuando se cumplen los supuestos de las matemáticas subyacentes; de lo contrario, si no es matemáticamente correcto o si los supuestos no se cumplen, entonces no es válido usarlo.

Esto no es verdad. Hay un buen artículo sobre intervalos de confianza y su abuso es:

Morey, Richard; Hoekstra, Rink; Rouder, Jeffrey; Lee, Michael; Wagenmakers, Eric-Jan, La falacia de poner confianza en los intervalos de confianza, Psychonomic Bulletin & Review, 2016, Vol.23 (1), pp.103-123

Si lee los diferentes intervalos de confianza potenciales en el artículo, cada uno es matemáticamente válido, pero si luego evalúa sus propiedades, difieren mucho. De hecho, algunos de los intervalos de confianza proporcionados podrían considerarse propiedades "malas", aunque cumplen con todos los supuestos del problema. Si elimina el intervalo bayesiano de la lista y se enfoca solo en los cuatro intervalos frecuentes, entonces si hace un análisis más profundo de cuándo los intervalos son anchos o estrechos, o constantes, encontrará que los intervalos pueden no ser "iguales" "aunque cada uno cumple los supuestos y requisitos.

No es suficiente que sea matemáticamente válido para que sea útil o, como alternativa, lo más útil posible. Del mismo modo, podría ser matemáticamente cierto, pero perjudicial. En el artículo, hay un intervalo que es más estrecho precisamente cuando hay la menor cantidad de información sobre la ubicación verdadera y más amplio cuando existe conocimiento perfecto o conocimiento casi perfecto sobre la ubicación del parámetro. Independientemente, cumple con los requisitos de cobertura y satisface los supuestos.

Las matemáticas nunca pueden ser suficientes.