¿Por qué las estadísticas bayesianas se están convirtiendo en un tema de investigación cada vez más popular? [cerrado]

Navegando a través del área de investigación del programa de estadísticas de las 100 principales noticias de EE. UU., Casi todos ellos son pesados ​​en las estadísticas bayesianas. Sin embargo, si voy a una escuela de nivel inferior, la mayoría de ellos todavía están haciendo investigación estadística clásica / frecuente. Por ejemplo, mi escuela actual (clasificada entre 150 y 200 en la clasificación mundial de QS para estadísticas, por lo que no se considera una escuela de primer nivel) solo tiene un profesor que se enfoca en las estadísticas bayesianas y hay casi un resentimiento hacia las estadísticas bayesianas. Algunos estudiantes de posgrado con los que hablé incluso dicen que los Estadísticos Bayesianos están haciendo estadísticas Bayesianas por el bien de lo cual, por supuesto, estoy en total desacuerdo.

Sin embargo, me pregunto por qué este es el caso. Estoy teniendo varias conjeturas educadas:

(a) no queda suficiente espacio para avanzar en la metodología de estadísticas clásicas / frecuentes y la única investigación viable en la investigación de estadísticas clásicas / frecuentes es en aplicaciones que serán el foco principal de la escuela de nivel inferior ya que la escuela de nivel superior debería ser más inclinado hacia la investigación teórica y metodológica.

(b) Depende mucho del campo. Cierta rama de estadísticas es simplemente más adecuada para estadísticas bayesianas, como muchas aplicaciones científicas del método de estadísticas, mientras que otra rama es más adecuada para estadísticas clásicas como el área financiera. (corríjame si me equivoco) Dado esto, me parece que las escuelas de nivel superior tienen muchas facultades de estadísticas que realizan aplicaciones en el campo científico, mientras que el departamento de estadísticas de las escuelas de nivel inferior se centra principalmente en las aplicaciones en el área financiera, ya que eso les ayuda a generar ingresos y financiación.

(c) Existen grandes problemas con el método frecuentista que no se pueden resolver, por ejemplo, la propensión al sobreajuste de MLE, etc. Y Bayesian parece proporcionar soluciones brillantes.

(d) El poder computacional está aquí, por lo tanto, el cómputo bayesiano ya no es un cuello de botella como lo era hace 30 años.

(e) Esta puede ser la suposición más obstinada que tengo. Existe una resistencia del estadístico clásico / frecuentista que simplemente no le gusta una nueva ola de metodología que potencialmente puede superar el papel de las estadísticas clásicas. Pero como dijo Larry Wasserman, depende de lo que estamos tratando de hacer y todos deben mantener una mente abierta, especialmente como investigadores.

Personalmente, aventuraría algunas conjeturas:

(1) Las estadísticas bayesianas vieron un gran aumento en popularidad en las últimas dos décadas. Parte de esto se debió a los avances en MCMC y las mejoras en los recursos computacionales. Las estadísticas bayesianas pasaron de ser teóricamente realmente agradables, pero solo aplicables a problemas de juguetes, a un enfoque que podría aplicarse de manera más universal. Esto significa que hace varios años, decir que trabajaste en estadísticas bayesianas probablemente te hizo una contratación muy competitiva.

Ahora, diría que las estadísticas bayesianas siguen siendo una ventaja, pero también está trabajando en problemas interesantes sin utilizar métodos bayesianos. La falta de antecedentes en las estadísticas bayesianas sería sin duda un inconveniente para la mayoría de los comités de contratación, pero obtener un doctorado en estadísticas sin suficiente capacitación en métodos bayesianos sería bastante sorprendente.

(2) Los estadísticos bayesianos mencionarán "bayesiano" en su CV. Por lo general, los frecuentes no pondrán "Frecuentista" en su CV, sino mucho más típicamente en el área en la que trabajan (es decir, análisis de supervivencia, modelos predictivos, pronósticos, etc.). A modo de ejemplo, gran parte de mi trabajo es escribir algoritmos de optimización, lo que supongo que implica que dirías que significa que hago un trabajo frecuente. También he escrito una buena cantidad de algoritmos bayesianos, pero ciertamente es la minoría de mi trabajo. Las estadísticas bayesianas están en mi CV, las estadísticas frecuentes no.

(3) Hasta cierto punto, lo que has dicho en tu pregunta también es verdad. La computación bayesiana general eficiente tiene más problemas abiertos que el reino frequentista. Por ejemplo, Hamiltonian Monte Carlo se ha convertido recientemente en un algoritmo muy emocionante para el muestreo genérico de modelos bayesianos. No hay mucho espacio para mejorar el genéricooptimización en estos días; Los algoritmos Newton Raphson, L-BFGS y EM cubren muchas bases. Si desea mejorar estos métodos, generalmente debe especializarse mucho en el problema. Como tal, es más como decir "Trabajo en la optimización de modelos geoespaciales de alta dimensión" en lugar de "Trabajo en la Estimación de máxima verosimilitud de alta dimensión". El mundo del aprendizaje automático es una excepción, ya que hay mucha emoción en descubrir nuevos métodos de optimización estocástica (es decir, SGD, Adam, etc.), pero esa es una bestia ligeramente diferente por algunas razones.

Del mismo modo, hay trabajo por hacer para encontrar buenos antecedentes para los modelos. Métodos frecuentistas hacer tienen un equivalente a esto (que viene con buenas sanciones, es decir, LASSO, glmnet) pero hay probablemente más de tierra fértil para priores más sanciones.

(4) Finalmente, y esta es definitivamente una opinión más personal, muchas personas asocian Frequentist con valores p. Dado el mal uso general de los valores p observado en otros campos, a muchos estadísticos les encantaría distanciarse lo más posible de los malos usos actuales de los valores p.