Preguntas etiquetadas con auc

Busqué por todos lados y no he podido averiguar qué significan o significan las AUC, en relación con la predicción.

228 classification  prediction  roc  auc  abbreviation 

Estoy interesado en calcular el área bajo la curva (AUC), o la estadística c, a mano para un modelo de regresión logística binaria. Por ejemplo, en el conjunto de datos de validación, tengo el valor verdadero para la variable dependiente, retención (1 = retenido; 0 = no retenido), así como …

78 regression  logistic  classification  roc  auc 

El Criterio de información de Akaike (AIC) y el estadístico c (área bajo la curva ROC) son dos medidas de ajuste del modelo para la regresión logística. Tengo problemas para explicar lo que sucede cuando los resultados de las dos medidas no son consistentes. Supongo que miden aspectos ligeramente diferentes …

29 logistic  roc  aic  auc 

Tengo dos clasificadores A: ingenua red bayesiana B: árbol (conectado individualmente) red bayesiana En términos de precisión y otras medidas, A funciona comparativamente peor que B. Sin embargo, cuando uso los paquetes R ROCR y AUC para realizar el análisis ROC, resulta que el AUC para A es más alto …

29 machine-learning  classification  roc  auc  bayesian-network 

¿Es la precisión promedio (AP) el área bajo la curva de recuperación de precisión (AUC de la curva PR)? EDITAR: Aquí hay un comentario sobre la diferencia en PR AUC y AP. El AUC se obtiene por interpolación trapezoidal de la precisión. Una métrica alternativa y generalmente casi equivalente es …

27 scikit-learn  precision-recall  auc  average-precision 

En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no …

25 cross-validation  roc  auc 

La siguiente imagen muestra una curva continua de tasas de falsos positivos frente a tasas positivas verdaderas: Sin embargo, lo que no entiendo de inmediato es cómo se calculan estas tasas. Si se aplica un método a un conjunto de datos, tiene una cierta tasa de FP y una cierta …

22 machine-learning  data-visualization  roc  auc 

Preámbulo Esta es una publicación muy larga. Si está releyendo esto, tenga en cuenta que he revisado la parte de la pregunta, aunque el material de fondo sigue siendo el mismo. Además, creo que he ideado una solución al problema. Esa solución aparece en la parte inferior de la publicación. …

21 machine-learning  bayesian  sampling  roc  auc 

Estoy usando un clasificador que devuelve probabilidades. Para calcular el AUC, estoy usando el paquete pROC R. Las probabilidades de salida del clasificador son: probs=c(0.9865780, 0.9996340, 0.9516880, 0.9337157, 0.9778576, 0.8140116, 0.8971550, 0.8967585, 0.6322902, 0.7497237) probsmuestra la probabilidad de estar en la clase '1'. Como se muestra, el clasificador ha clasificado …

20 machine-learning  auc 

Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las instancias …

16 r  machine-learning  roc  precision-recall  auc 

Construí una curva ROC para un sistema de diagnóstico. El área bajo la curva se estimó entonces no paramétricamente como AUC = 0,89. Cuando intenté calcular la precisión en el umbral óptimo (el punto más cercano al punto (0, 1)), ¡obtuve la precisión del sistema de diagnóstico de 0,8, que …

16 roc  reliability  accuracy  auc 

¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y 0.5?

16 roc  model-evaluation  auc 

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Estoy tratando de usar la función ' densidad ' en R para hacer estimaciones de densidad del núcleo. Tengo algunas dificultades para interpretar los resultados y comparar varios conjuntos de datos, ya que parece que el área bajo la curva no es necesariamente 1. Para cualquier función de densidad de …

15 r  estimation  pdf  kernel-smoothing  auc 

He entrenado dos modelos (clasificadores binarios usando h2o AutoML) y quiero seleccionar uno para usar. Tengo los siguientes resultados: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 Las columnas aucy loglossson las métricas de validación cruzada (la …

15 model-selection  validation  auc  gini  log-loss