Elegir entre las reglas de puntuación adecuadas

La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia ).

Elegir el modelo que maximiza la puntuación logarítmica corresponde a elegir el modelo de máxima verosimilitud, que parece un buen argumento para usar la puntuación logarítmica. ¿Existen justificaciones similares para Brier o puntuación esférica u otras reglas de puntuación? ¿Por qué alguien usaría uno de estos en lugar de una puntuación logarítmica?

¿Por qué alguien usaría uno de estos en lugar de una puntuación logarítmica?

Entonces, idealmente, siempre distinguimos ajustar un modelo de tomar una decisión . En la metodología bayesiana, la puntuación y selección del modelo siempre debe hacerse utilizando la probabilidad marginal . Luego usa el modelo para hacer predicciones probabilísticas, y su función de pérdida le dice cómo actuar según esas predicciones.

Desafortunadamente en el mundo real, el rendimiento computacional a menudo dicta que combinamos la selección del modelo y la toma de decisiones y, por lo tanto, utilizamos una función de pérdida para adaptarnos a nuestros modelos. Aquí es donde se desliza la subjetividad en la selección del modelo, porque tienes que adivinar cuánto te costarán los diferentes tipos de error. El ejemplo clásico es un diagnóstico de cáncer: sobreestimar la probabilidad de cáncer de alguien no es bueno, pero subestimarlo es mucho peor.

Por otro lado, si está buscando orientación sobre cómo elegir una regla de puntaje, es posible que también desee buscar orientación sobre cómo elegir una función de pérdida o diseñar una función de utilidad, ya que creo que la literatura sobre esos dos temas es mucho más voluminoso