Preguntas etiquetadas con precision-recall

Entiendo las diferencias formales entre ellos, lo que quiero saber es cuándo es más relevante usar uno frente al otro. ¿Proporcionan siempre información complementaria sobre el rendimiento de un determinado sistema de clasificación / detección? ¿Cuándo es razonable proporcionarlos a ambos, por ejemplo, en un documento? en lugar de solo …

159 machine-learning  roc  precision-recall 

Me pregunto cómo calcular la precisión y la recuperación utilizando una matriz de confusión para un problema de clasificación de varias clases. Específicamente, una observación solo se puede asignar a su clase / etiqueta más probable. Me gustaría calcular: Precisión = TP / (TP + FP) Recuperación = TP / …

92 machine-learning  classification  precision-recall  multi-class 

Me pregunto cómo calcular las medidas de precisión y recuperación para la clasificación multiclase multicabel, es decir, la clasificación donde hay más de dos etiquetas y cada instancia puede tener varias etiquetas.

72 machine-learning  classification  precision-recall  multi-class 

Me gustaría saber cómo interpretar una diferencia de valores de medida f. Sé que la medida f es una media equilibrada entre precisión y recuperación, pero estoy preguntando sobre el significado práctico de una diferencia en las medidas F. Por ejemplo, si un clasificador C1 tiene una precisión de 0.4 …

41 classification  precision-recall 

Tengo una tarea de clasificación en la que tengo varios predictores (uno de los cuales es el más informativo), y estoy usando el modelo MARS para construir mi clasificador (estoy interesado en cualquier modelo simple, y usar glms con fines ilustrativos sería bien también). Ahora tengo un gran desequilibrio de …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Tengo a continuación un ejemplo que extraje de la documentación de sklearn.metrics.classification_report de sklearn. Lo que no entiendo es por qué hay valores de puntaje f1, precisión y recuperación para cada clase donde creo que la clase es la etiqueta del predictor. Pensé que el puntaje f1 te dice la …

29 machine-learning  python  scikit-learn  precision-recall 

¿Es la precisión promedio (AP) el área bajo la curva de recuperación de precisión (AUC de la curva PR)? EDITAR: Aquí hay un comentario sobre la diferencia en PR AUC y AP. El AUC se obtiene por interpolación trapezoidal de la precisión. Una métrica alternativa y generalmente casi equivalente es …

27 scikit-learn  precision-recall  auc  average-precision 

Estaba confundido acerca de las diferencias entre el puntaje F1, el puntaje Dice y el IoU (intersección sobre unión). Por ahora descubrí que F1 y Dice significan lo mismo (¿verdad?) Y IoU tiene una fórmula muy similar a las otras dos. F1 / Dados: 2 TPAGS2 TPAGS+ FPAGS+ Fnorte2TPAGS2TPAGS+FPAGS+Fnorte\frac{2TP}{2TP+FP+FN} IoU …

24 terminology  accuracy  precision-recall 

Trato con un problema de detección de fraude (similar a la calificación crediticia). Como tal, existe una relación altamente desequilibrada entre las observaciones fraudulentas y no fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html proporciona una excelente visión general de las diferentes métricas de clasificación. Precision and Recallo kappaambos parecen ser una buena opción: Una forma …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

La precisión se define como: p = true positives / (true positives + false positives) ¿Es cierto que, como true positivesy false positivesenfoque 0, la precisión se aproxima a 1? La misma pregunta para recordar: r = true positives / (true positives + false negatives) Actualmente estoy implementando una prueba …

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las instancias …

16 r  machine-learning  roc  precision-recall  auc 

¿Puede alguien resumirme con posibles ejemplos, en qué situaciones el aumento de los datos de capacitación mejora el sistema en general? ¿Cuándo detectamos que agregar más datos de entrenamiento podría sobrepasar los datos y no dar una buena precisión en los datos de la prueba? Esta es una pregunta muy …

16 machine-learning  classification  dataset  precision-recall 

La precisión se define como: p = verdaderos positivos / (verdaderos positivos + falsos positivos) ¿Cuál es el valor de precisión si (verdaderos positivos + falsos positivos) = 0? ¿Es solo indefinido? La misma pregunta para recordar: r = verdaderos positivos / (verdaderos positivos + falsos negativos) En este caso, …

16 precision-recall 

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable