Preguntas etiquetadas con calibration

Supongamos que tengo un modelo predictivo que produce, para cada caso, una probabilidad para cada clase. Ahora reconozco que hay muchas formas de evaluar ese modelo si quiero usar esas probabilidades para la clasificación (precisión, recuperación, etc.). También reconozco que una curva ROC y el área debajo de ella se …

23 data-visualization  classification  predictive-models  binary-data  calibration 

Para calibrar un nivel de confianza a una probabilidad en el aprendizaje supervisado (por ejemplo, para mapear la confianza de un SVM o un árbol de decisión usando datos sobremuestreados), un método es usar la Escala de Platt (por ejemplo, Obteniendo Probabilidades Calibradas de Impulso ). Básicamente se usa la …

17 logistic  cross-validation  calibration 

Me gustaría recibir consejos sobre cómo agrupar los gráficos / estadísticas de calibración después de una imputación múltiple. En el contexto del desarrollo de modelos estadísticos para predecir un evento futuro (p. Ej., Utilizando datos de registros hospitalarios para predecir la supervivencia o eventos posteriores al alta hospitalaria), uno puede …

15 data-visualization  data-imputation  multiple-imputation  pooling  calibration 

Scikit tiene CalibratedClassifierCV , que nos permite calibrar nuestros modelos en un par X, y particular. También establece claramente quedata for fitting the classifier and for calibrating it must be disjoint. Si deben ser disjuntos, ¿es legítimo entrenar al clasificador con lo siguiente? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) Me temo …

14 cross-validation  scikit-learn  validation  train  calibration 

Antecedentes: Aquí hay algunas preguntas / respuestas excelentes sobre cómo calibrar modelos que predicen las probabilidades de que ocurra un resultado. Por ejemplo Puntuación de Brier , y su descomposición en resolución, incertidumbre y fiabilidad . Gráficos de calibración y regresión isotónica . Estos métodos a menudo requieren el uso …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

Programo y hago desarrollo basado en pruebas. Después de hacer un cambio en mi código, ejecuto mis pruebas. Algunas veces tienen éxito y otras fallan. Antes de ejecutar una prueba, escribo un número de 0.01 a 0.99 para creer que la prueba tendrá éxito. Quiero saber si estoy mejorando para …

10 forecasting  decision-theory  calibration  scoring-rules 

En los documentos de aprendizaje de scikit sobre calibración de probabilidad, comparan la regresión logística con otros métodos y observan que el bosque aleatorio está menos calibrado que la regresión logística. ¿Por qué la regresión logística está bien calibrada? ¿Cómo podría uno arruinar la calibración de una regresión logística (no …

9 regression  logistic  calibration 

Pregunta : He ajustado un modelo probabilístico (red bayesiana) para modelar una variable de resultado binaria. Me gustaría crear un gráfico de calibración de alta resolución (por ejemplo, spline) corregido por sobreajuste con bootstrapping. ¿Existe un procedimiento estándar para calcular dicha curva? Consideraciones : podría hacerlo fácilmente con la división …

9 bootstrap  splines  regression-strategies  calibration