No, no es verdad. Los métodos bayesianos ciertamente sobrepasarán los datos. Hay un par de cosas que hacen que los métodos bayesianos sean más robustos contra el sobreajuste y también puedes hacerlos más frágiles.
La naturaleza combinatoria de las hipótesis bayesianas, en lugar de las hipótesis binarias, permite comparaciones múltiples cuando alguien carece del modelo "verdadero" para los métodos de hipótesis nulas. Un posterior bayesiano penaliza efectivamente un aumento en la estructura del modelo, como agregar variables y recompensar las mejoras en el ajuste. Las penalizaciones y las ganancias no son optimizaciones, como sería el caso en los métodos no bayesianos, sino cambios en las probabilidades a partir de nueva información.
Si bien esto generalmente proporciona una metodología más sólida, existe una restricción importante y es utilizar distribuciones previas adecuadas. Si bien existe una tendencia a querer imitar los métodos frequentistas mediante el uso de anteriores planos, esto no asegura una solución adecuada. Hay artículos sobre sobreajuste en los métodos bayesianos y me parece que el pecado parece ser tratar de ser "justos" con los métodos no bayesianos al comenzar con antecedentes estrictamente planos. La dificultad es que lo anterior es importante para normalizar la probabilidad.
Los modelos bayesianos son modelos intrínsecamente óptimos en el sentido de admisibilidad de la palabra de Wald, pero hay un coco escondido allí. Wald está asumiendo que el prior es su verdadero prior y no uno anterior que esté utilizando para que los editores no lo critiquen por poner demasiada información en él. No son óptimos en el mismo sentido que los modelos frequentistas. Los métodos frecuentes comienzan con la optimización de minimizar la varianza sin dejar de ser imparcial.
Esta es una optimización costosa ya que descarta información y no es intrínsecamente admisible en el sentido de Wald, aunque con frecuencia es admisible. Por lo tanto, los modelos frequentistas proporcionan un ajuste óptimo a los datos, dada su imparcialidad. Los modelos bayesianos no son ajustes imparciales ni óptimos a los datos. Este es el comercio que está haciendo para minimizar el sobreajuste.
Los modelos bayesianos son modelos intrínsecamente sesgados, a menos que se tomen medidas especiales para hacerlos insesgados, que generalmente se ajustan peor a los datos. Su virtud es que nunca usan menos información que un método alternativo para encontrar el "modelo verdadero" y esta información adicional hace que los modelos bayesianos nunca sean menos riesgosos que los modelos alternativos, particularmente cuando se trabaja fuera de la muestra. Dicho esto, siempre existirá una muestra que podría haberse extraído al azar que sistemáticamente "engañaría" al método bayesiano.
En cuanto a la segunda parte de su pregunta, si analizara una sola muestra, la posterior se alteraría para siempre en todas sus partes y no volvería a la anterior a menos que haya una segunda muestra que cancele exactamente toda la información en el primera muestra Al menos teóricamente esto es cierto. En la práctica, si lo anterior es suficientemente informativo y la observación lo suficientemente informativa, entonces el impacto podría ser tan pequeño que una computadora no podría medir las diferencias debido a la limitación en el número de dígitos significativos. Es posible que un efecto sea demasiado pequeño para que una computadora procese un cambio en la parte posterior.
Entonces, la respuesta es "sí", puede sobreajustar una muestra utilizando un método bayesiano, particularmente si tiene un tamaño de muestra pequeño y antecedentes inadecuados. La segunda respuesta es "no". El teorema de Bayes nunca olvida el impacto de los datos anteriores, aunque el efecto podría ser tan pequeño que lo perderá computacionalmente.