Dediqué mucho tiempo al desarrollo de métodos y software para validar modelos predictivos en el dominio estadístico frecuentista tradicional. Al poner en práctica más ideas bayesianas y enseñar, veo algunas diferencias clave que aceptar. Primero, el modelo predictivo bayesiano le pide al analista que piense detenidamente sobre las distribuciones anteriores que pueden personalizarse para las características candidatas, y estas anteriores atraerán el modelo hacia ellas (es decir, lograr la reducción / penalización / regularización con diferentes cantidades de penalización para diferentes características predictivas ) En segundo lugar, la forma bayesiana "real" no da como resultado un solo modelo, sino que se obtiene una distribución posterior completa para una predicción.
Con esas características bayesianas en mente, ¿qué significa el sobreajuste? ¿Deberíamos evaluarlo? ¿Si es así, cómo? ¿Cómo sabemos cuándo un modelo bayesiano es confiable para uso en el campo? ¿O es ese un punto discutible ya que la parte posterior llevará todas las incertidumbres de precaución cuando usamos el modelo que desarrollamos para la predicción?
¿Cómo cambiaría el pensamiento si obligáramos a que el modelo bayesiano se destilara a un solo número, por ejemplo, riesgo medio / modo / mediana posterior?
Veo algunos pensamientos relacionados aquí . Una discusión paralela se puede encontrar aquí .
Pregunta de seguimiento : si somos completamente bayesianos y pasamos algún tiempo pensando en los antecedentes antes de ver los datos, y ajustamos un modelo donde la probabilidad de los datos se especificó adecuadamente, ¿estamos obligados a estar satisfechos con nuestro modelo con respecto al sobreajuste? ? ¿O tenemos que hacer lo que hacemos en el mundo frecuentista donde un sujeto elegido al azar puede predecirse en promedio, pero si elegimos un sujeto que tenga una predicción muy baja o uno que tenga un valor predicho muy alto habrá regresión? a la media?