Preguntas etiquetadas con scoring-rules

Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida muy simple y muy "intuitiva", …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Últimamente he estado pensando mucho en el "problema de desequilibrio de clase" en el aprendizaje automático / estadístico, y me estoy adentrando cada vez más en un sentimiento de que simplemente no entiendo lo que está sucediendo. Primero déjame definir (o intentar) definir mis términos: El problema del desequilibrio de …

30 classification  predictive-models  unbalanced-classes  scoring-rules 

Estoy validando de forma cruzada un modelo que está tratando de predecir un recuento. Si este fuera un problema de clasificación binaria, calcularía el AUC fuera del pliegue, y si este fuera un problema de regresión, calcularía el RMSE o el MAE fuera del pliegue. Para un modelo de Poisson, …

29 cross-validation  poisson-distribution  count-data  deviance  scoring-rules 

Merkle y Steyvers (2013) escriben: Para definir formalmente una regla de puntuación adecuada, dejemos que sea ​​un pronóstico probabilístico de un ensayo de Bernoulli d con verdadera probabilidad de éxito p . Las reglas de puntuación adecuadas son métricas cuyos valores esperados se minimizan si f = p .FFfreredpagspagspF= pF=pagsf …

27 classification  forecasting  scoring-rules 

Recientemente completé una competencia de Kaggle en la que se utilizó la puntuación roc auc según los requisitos de la competencia. Antes de este proyecto, normalmente usaba la puntuación f1 como la métrica para medir el rendimiento del modelo. En el futuro, me pregunto cómo debo elegir entre estas dos …

26 machine-learning  modeling  roc  scoring-rules 

La mayoría de los recursos sobre reglas de puntuación adecuadas mencionan una serie de reglas de puntuación diferentes como pérdida de registro, puntuación de Brier o puntuación esférica. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia ). Elegir el modelo que maximiza …

22 machine-learning  classification  model-selection  theory  scoring-rules 

En primer lugar, da probabilidad de resultados. Entonces, por ejemplo, sus predicciones para las elecciones estadounidenses son actualmente del 82% de Clinton frente al 18% de Trump. Ahora, incluso si Trump gana, ¿cómo sé que no fue solo el 18% del tiempo que debería haber ganado? El otro problema es …

19 forecasting  prediction  validation  accuracy  scoring-rules 

Una regla de puntuación adecuada es una regla que se maximiza mediante un modelo 'verdadero' y no permite 'cubrir' o jugar con el sistema (informar deliberadamente diferentes resultados, como es la verdadera creencia del modelo para mejorar la puntuación). El puntaje de Brier es correcto, la precisión (proporción clasificada correctamente) …

16 classification  references  roc  measurement-error  scoring-rules 

Recientemente he estado aprendiendo sobre las reglas de puntuación adecuadas para los clasificadores probabilísticos. Varios hilos en este sitio web han hecho hincapié en que la precisión es una regla de puntuación inadecuada y no debe usarse para evaluar la calidad de las predicciones generadas por un modelo probabilístico como …

13 probability  accuracy  scoring-rules 

Antecedentes: Aquí hay algunas preguntas / respuestas excelentes sobre cómo calibrar modelos que predicen las probabilidades de que ocurra un resultado. Por ejemplo Puntuación de Brier , y su descomposición en resolución, incertidumbre y fiabilidad . Gráficos de calibración y regresión isotónica . Estos métodos a menudo requieren el uso …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

La pregunta de ayer Determinar la precisión del modelo que estima la probabilidad de evento me dio curiosidad sobre la puntuación de probabilidad. La puntuación de Brier es una medida de error cuadrático medio. ¿El análogo significa la medida de rendimiento de error absoluto tener un nombre también?1N∑i=1N(predictioni−referencei)21N∑i=1N(predictioni−referencei)2\frac{1}{N}\sum\limits _{i=1}^{N}(prediction_i - …

12 classification  error  validation  scoring-rules  brier-score 

Estoy modelando un evento con dos resultados, ay b. He creado un modelo que estima la probabilidad de que a o b ocurra (es decir, el modelo calculará que a sucederá con un 40% de probabilidad yb sucederá con un 60% de probabilidad). Tengo un gran registro de resultados de …

12 predictive-models  scoring-rules 

Programo y hago desarrollo basado en pruebas. Después de hacer un cambio en mi código, ejecuto mis pruebas. Algunas veces tienen éxito y otras fallan. Antes de ejecutar una prueba, escribo un número de 0.01 a 0.99 para creer que la prueba tendrá éxito. Quiero saber si estoy mejorando para …

10 forecasting  decision-theory  calibration  scoring-rules 

Estoy realizando un análisis sobre la probabilidad de incumplimiento de préstamo utilizando regresión logística y bosques aleatorios. Cuando uso la regresión logística, la predicción siempre es '1' (lo que significa un buen préstamo). Nunca he visto esto antes, y no sé por dónde empezar en términos de tratar de resolver …

10 regression  logistic  predictive-models  unbalanced-classes  scoring-rules 

Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con softmaxfunción en la última …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty