¿Cuándo usar bootstrap vs. técnica bayesiana?

Tengo un problema de análisis de decisiones bastante complicado que involucra pruebas de confiabilidad y el enfoque lógico (para mí) parece involucrar el uso de MCMC para soportar un análisis bayesiano. Sin embargo, se ha sugerido que sería más apropiado utilizar un enfoque de arranque. ¿Podría alguien sugerir una referencia (o tres) que pueda apoyar el uso de cualquiera de las técnicas sobre la otra (incluso para situaciones particulares)? FWIW, tengo datos de múltiples fuentes dispares y pocas / cero observaciones de falla. También tengo datos a nivel de subsistema y sistema.

Parece que una comparación como esta debería estar disponible, pero no he tenido suerte buscando a los sospechosos habituales. De antemano, gracias por cualquier consejo.

bayesian bootstrap

— Aengus
fuente

Dado que el bootstrap clásico se puede considerar como un método de máxima probabilidad implementado por computadora (es decir, una técnica no bayesiana (anterior plana)), sería mejor reformular su pregunta a algo como "cuándo usar la técnica frecuentista versus bayesiana ? " Algunos antecedentes sobre bootstrap: stats.stackexchange.com/questions/18469/…

— Yevgeny el

Hmmm ... supongo que no estoy de acuerdo. Esperemos que 'bootstrap' sugiera específicamente la caracterización del intervalo; un poco más centrado que simplemente "frecuentista". Al menos 'bootstrap' mantendrá a raya a la mayoría de los fanáticos religiosos. Además, gracias por el enlace, pero estaba familiarizado con su comentario anterior antes de publicar esto.

— Aengus

Permítanme reformular, ¿tienen alguna información previa útil o el problema tiene una estructura jerárquica (anidada)? Si es así, entonces una técnica bayesiana es probablemente mejor (especialmente si el número de parámetros del modelo es grande en relación con la cantidad de datos disponibles, por lo que la estimación se beneficiaría de la "reducción bayesiana"). De lo contrario, MLE / bootstrap es suficiente.

— Yevgeny

Supongo que otro enfoque posible es usar modelos de efectos mixtos (por ejemplo, usando el paquete R lme4) para modelar la estructura jerárquica a la que ha aludido. Eso también ayudaría a estabilizar las estimaciones para modelos (jerárquicos) con gran número de parámetros.

— Yevgeny

Un análisis bootstrap puede verse muy bien como un análisis bayesiano, por lo que su pregunta podría ser "Cuándo usar el bootstrap versus otro modelo bayesiano" (Su pregunta me impulsó a escribir esta interpretación del bootstrap como modelo bayesiano : sumsar.net/blog/2015/04/… ). Ante la pregunta, estoy de acuerdo con @Yevgeny en que probablemente necesitemos más información sobre su problema específico antes de poder recomendar un modelo.

— Rasmus Bååth

Respuestas:

En mi opinión, la descripción de su problema apunta a dos problemas principales. Primero:

Tengo un análisis de decisión bastante complicado ...

Suponiendo que tiene una función de pérdida en la mano, debe decidir si le preocupa el riesgo frecuente o la pérdida esperada posterior . El bootstrap le permite aproximar funcionalidades de la distribución de datos, por lo que ayudará con el primero; y muestras posteriores de MCMC le permitirán evaluar la última. Pero...

También tengo datos a nivel de subsistema y sistema

entonces estos datos tienen estructura jerárquica. El enfoque bayesiano modela dichos datos de forma muy natural, mientras que el bootstrap fue diseñado originalmente para datos modelados como iid Si bien se ha extendido a datos jerárquicos (ver referencias en la introducción de este documento ), dichos enfoques están relativamente poco desarrollados (según el resumen este artículo )

Para resumir: si realmente es un riesgo frecuentista lo que le interesa, entonces puede ser necesaria alguna investigación original en la aplicación del bootstrap a la teoría de la decisión. Sin embargo, si minimizar la pérdida esperada posterior es un ajuste más natural para su problema de decisión, Bayes es definitivamente el camino a seguir.

— Cian
fuente

Gracias, no me había encontrado con ninguno de estos; El último artículo parece particularmente interesante.

— Aengus

He leído que el bootstrap no paramétrico puede verse como un caso especial de un modelo bayesiano con un previo discreto (muy) no informativo, donde las suposiciones que se hacen en el modelo son que los datos son discretos y el dominio de su distribución objetivo se observa completamente en su muestra.

Aquí hay dos referencias:

— Steve
fuente