Preguntas etiquetadas con roc

Busqué por todos lados y no he podido averiguar qué significan o significan las AUC, en relación con la predicción.

228 classification  prediction  roc  auc  abbreviation 

Entiendo las diferencias formales entre ellos, lo que quiero saber es cuándo es más relevante usar uno frente al otro. ¿Proporcionan siempre información complementaria sobre el rendimiento de un determinado sistema de clasificación / detección? ¿Cuándo es razonable proporcionarlos a ambos, por ejemplo, en un documento? en lugar de solo …

159 machine-learning  roc  precision-recall 

Estoy interesado en calcular el área bajo la curva (AUC), o la estadística c, a mano para un modelo de regresión logística binaria. Por ejemplo, en el conjunto de datos de validación, tengo el valor verdadero para la variable dependiente, retención (1 = retenido; 0 = no retenido), así como …

78 regression  logistic  classification  roc  auc 

En otras palabras, en lugar de tener un problema de dos clases, estoy lidiando con 4 clases y todavía me gustaría evaluar el rendimiento utilizando AUC.

66 classification  roc 

Tengo problemas para entender la curva ROC. ¿Hay alguna ventaja / mejora en el área bajo la curva ROC si construyo modelos diferentes de cada subconjunto único del conjunto de entrenamiento y lo uso para generar una probabilidad? Por ejemplo, si tiene valores de , y modelo de acumulación mediante …

57 r  roc 

Tengo los datos de una prueba que podría usarse para distinguir células normales y tumorales. De acuerdo con la curva ROC, se ve bien para este propósito (el área bajo la curva es 0.9): Mis preguntas son: ¿Cómo determinar el punto de corte para esta prueba y su intervalo de …

51 r  data-visualization  confidence-interval  roc  ggplot2 

Tengo una tarea de clasificación en la que tengo varios predictores (uno de los cuales es el más informativo), y estoy usando el modelo MARS para construir mi clasificador (estoy interesado en cualquier modelo simple, y usar glms con fines ilustrativos sería bien también). Ahora tengo un gran desequilibrio de …

30 machine-learning  roc  precision-recall  unbalanced-classes  data-visualization 

Estoy un poco confuso sobre el Área bajo curva (AUC) de ROC y la precisión general. ¿El AUC será proporcional a la precisión general? En otras palabras, cuando tengamos una precisión general mayor, ¿obtendremos definitivamente un AUC más grande? ¿O están por definición positivamente correlacionados? Si están positivamente correlacionados, ¿por …

29 classification  roc 

El Criterio de información de Akaike (AIC) y el estadístico c (área bajo la curva ROC) son dos medidas de ajuste del modelo para la regresión logística. Tengo problemas para explicar lo que sucede cuando los resultados de las dos medidas no son consistentes. Supongo que miden aspectos ligeramente diferentes …

29 logistic  roc  aic  auc 

Tengo dos clasificadores A: ingenua red bayesiana B: árbol (conectado individualmente) red bayesiana En términos de precisión y otras medidas, A funciona comparativamente peor que B. Sin embargo, cuando uso los paquetes R ROCR y AUC para realizar el análisis ROC, resulta que el AUC para A es más alto …

29 machine-learning  classification  roc  auc  bayesian-network 

Recientemente completé una competencia de Kaggle en la que se utilizó la puntuación roc auc según los requisitos de la competencia. Antes de este proyecto, normalmente usaba la puntuación f1 como la métrica para medir el rendimiento del modelo. En el futuro, me pregunto cómo debo elegir entre estas dos …

26 machine-learning  modeling  roc  scoring-rules 

En la discusión: cómo generar una curva roc para la clasificación binaria , creo que la confusión fue que un "clasificador binario" (que es cualquier clasificador que separa 2 clases) fue para Yang lo que se llama un "clasificador discreto" (que produce salidas discretas 0/1 como un SVM) y no …

25 cross-validation  roc  auc 

Tengo valores para True Positive (TP)y de la False Negative (FN)siguiente manera: TP = 0.25 FN = 0.75 A partir de esos valores, ¿podemos calcular False Positive (FP)y True Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

La siguiente imagen muestra una curva continua de tasas de falsos positivos frente a tasas positivas verdaderas: Sin embargo, lo que no entiendo de inmediato es cómo se calculan estas tasas. Si se aplica un método a un conjunto de datos, tiene una cierta tasa de FP y una cierta …

22 machine-learning  data-visualization  roc  auc 

Preámbulo Esta es una publicación muy larga. Si está releyendo esto, tenga en cuenta que he revisado la parte de la pregunta, aunque el material de fondo sigue siendo el mismo. Además, creo que he ideado una solución al problema. Esa solución aparece en la parte inferior de la publicación. …

21 machine-learning  bayesian  sampling  roc  auc