Determinar la precisión del modelo que estima la probabilidad de evento

Estoy modelando un evento con dos resultados, ay b. He creado un modelo que estima la probabilidad de que a o b ocurra (es decir, el modelo calculará que a sucederá con un 40% de probabilidad yb sucederá con un 60% de probabilidad).

Tengo un gran registro de resultados de ensayos con las estimaciones del modelo. Me gustaría cuantificar la precisión con la que el modelo está utilizando estos datos: ¿es esto posible? De ser así, ¿cómo?

predictive-models scoring-rules

— Peter
fuente

Puede que me equivoque, pero creo que te interesa el error de entrenamiento y / o prueba de tu modelo. Ver, por ejemplo: cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@Stijn Sin embargo, está prediciendo la probabilidad en lugar de clasificarlo directamente como aob, por lo que no creo que esas métricas sean lo que está pidiendo.

— Michael McGowan

¿Está más interesado en qué tan bien el modelo finalmente se desempeñará para la clasificación (en cuyo caso el tipo de análisis ROC y AUC parece más relevante ( en.wikipedia.org/wiki/Receiver_operating_characteristic )? O está más interesado en comprender cómo "calibrado" las predicciones de probabilidad son (es decir, hace P (resultado = a) = 60% realmente media del 60%, o simplemente que el resultado = a es más probable que los otros resultados ...

— DavidR

Parece que quieres saber sobre la puntuación de probabilidad .

— whuber

Elvis, un artículo en el número actual de Análisis de decisiones llamó mi atención sobre la puntuación de probabilidad. Parece basarse en literatura sustancial sobre el tema. (Sin embargo, no tengo acceso a más que el resumen, por lo que no puedo comentar sobre el artículo en sí). Un artículo de portada de los editores de la revista (que está disponible gratuitamente ) menciona una serie de documentos anteriores sobre el mismo tema.

— whuber

Suponga que su modelo realmente predice que A tiene una probabilidad del 40% y B tiene una probabilidad del 60%. En algunas circunstancias, es posible que desee convertir esto en una clasificación de que B sucederá (ya que es más probable que A). Una vez convertida en una clasificación, cada predicción es correcta o incorrecta, y hay varias formas interesantes de contar esas respuestas correctas e incorrectas. Una es la precisión directa (el porcentaje de respuestas correctas). Otros incluyen precisión y la recuperación o F-medida . Como otros han mencionado, es posible que desee mirar la curva ROC . Además, su contexto puede proporcionar una matriz de costos específica que recompensa los verdaderos positivos de manera diferente de los verdaderos negativos y / o penaliza los falsos positivos de manera diferente de los falsos negativos.

Sin embargo, no creo que eso sea lo que realmente estás buscando. Si dijiste que B tiene un 60% de posibilidades de que suceda y yo dije que tenía un 99% de posibilidades de que suceda, tenemos predicciones muy diferentes a pesar de que ambos serían asignados a B en un sistema de clasificación simple. Si sucede A, en cambio, estás un poco equivocado mientras yo estoy muy equivocado, así que espero recibir una penalización más severa que la tuya. Cuando su modelo realmente produce probabilidades, una regla de puntuación es una medida del rendimiento de sus predicciones de probabilidad. Específicamente, probablemente desee una regla de puntuación adecuada , lo que significa que la puntuación está optimizada para obtener resultados bien calibrados.

Un ejemplo común de una regla de puntuación es la puntuación de Brier : donde es la probabilidad pronosticada de el evento ocurre y es 1 si el evento sucedió y 0 si no sucedió.

B S = \frac{1}{N} \sum_{t = 1}^{N} (f_{t} - o_{t})^{2}

$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$

f_{t}

$f_t$

o_{t}

$o_t$

Por supuesto, el tipo de regla de puntuación que elija puede depender de qué tipo de evento está tratando de predecir. Sin embargo, esto debería darle algunas ideas para investigar más.

Agregaré una advertencia de que, independientemente de lo que haga, al evaluar su modelo de esta manera le sugiero que mire su métrica en los datos fuera de la muestra (es decir, los datos no utilizados para construir su modelo). Esto se puede hacer mediante validación cruzada . Quizás de manera más simple puede construir su modelo en un conjunto de datos y luego evaluarlo en otro (teniendo cuidado de no dejar que las inferencias de la muestra se derramen en el modelado dentro de la muestra).

— Michael McGowan
fuente