Antecedentes: Aquí hay algunas preguntas / respuestas excelentes sobre cómo calibrar modelos que predicen las probabilidades de que ocurra un resultado. Por ejemplo
- Puntuación de Brier , y su descomposición en resolución, incertidumbre y fiabilidad .
- Gráficos de calibración y regresión isotónica .
Estos métodos a menudo requieren el uso de un método de agrupamiento en las probabilidades pronosticadas, de modo que el comportamiento del resultado (0, 1) se suaviza sobre el bin al tomar el resultado medio.
Problema: Sin embargo, no puedo encontrar nada que me indique cómo elegir el ancho del contenedor.
Pregunta: ¿Cómo elijo el ancho óptimo del contenedor?
Intento: dos anchos de compartimiento comunes en uso parecen ser:
- Binning de ancho igual, por ejemplo, 10 bins cada uno cubriendo el 10% del intervalo [0, 1].
- Método de binning de Tukey discutido aquí .
¿Pero estas elecciones de los contenedores son las más óptimas si uno estuviera interesado en encontrar intervalos en las probabilidades predichas que están más mal calibradas?