Preguntas etiquetadas con roc

¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación usando integral, dando los …

14 probability  roc  auc 

Por lo general, en la regresión logística, ajustamos un modelo y obtenemos algunas predicciones sobre el conjunto de entrenamiento. Luego validamos de manera cruzada esas predicciones de entrenamiento (algo así como aquí ) y decidimos el valor umbral óptimo basado en algo como la curva ROC. ¿Por qué no incorporamos …

13 logistic  cross-validation  optimization  roc  threshold 

Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un …

13 machine-learning  classification  roc  auc  model-evaluation 

Obtuve un modelo de regresión logística (vía train) para una respuesta binaria, y obtuve la matriz de confusión logística a través de confusionMatrixin caret. Me da la matriz de confusión del modelo logístico, aunque no estoy seguro de qué umbral se está utilizando para obtenerlo. ¿Cómo obtengo la matriz de …

13 r  classification  roc  caret  confusion-matrix 

He estado trabajando en un modelo logístico y tengo algunas dificultades para evaluar los resultados. Mi modelo es un logit binomial. Mis variables explicativas son: una variable categórica con 15 niveles, una variable dicotómica y 2 variables continuas. Mi N es grande> 8000. Estoy tratando de modelar la decisión de …

13 r  logistic  goodness-of-fit  roc 

solíamos crear una curva GINI usando la elevación creada con la ayuda del porcentaje de buenos y malos para el modelado de cuadros de mando. Pero lo que he estudiado es que la curva ROC se crea utilizando la matriz de confusión con especificidad (1- Verdadero negativo) como eje xy …

13 roc  gini 

Normalmente no podemos dibujar una curva ROC para los clasificadores discretos como los árboles de decisión. Estoy en lo cierto? ¿Hay alguna forma de dibujar una curva ROC para Dtrees?

13 roc  cart 

En el aprendizaje automático, podemos usar el área bajo la curva ROC ( AUC abreviado a menudo , o AUROC) para resumir qué tan bien un sistema puede discriminar entre dos categorías. En la teoría de detección de señal, a menudo el d′d′d' (índice de sensibilidad) se usa para un …

13 machine-learning  roc  auc  signal-detection  d-prime 

Me encuentro con el coeficiente de dados para la similitud de volumen ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) y precisión ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Me parece que estas dos medidas son las mismas. ¿Alguna idea?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

Me cuesta encontrar una manera de calcular el valor p para el área bajo una característica del operador receptor (ROC). Tengo una variable continua y un resultado de prueba de diagnóstico. Quiero ver si AUROC es estadísticamente significativo. Encontré muchos paquetes relacionados con curvas ROC: pROC, ROCR, caTools, verificación, Epi. …

12 r  p-value  roc 

Estoy ejecutando un clasificador binario en este momento. Cuando trazo la curva ROC obtengo una buena elevación al principio, luego cambia de dirección y cruza la diagonal y, por supuesto, retrocede, haciendo que la curva tenga una forma de S inclinada. ¿Qué puede ser una interpretación / explicación a este …

12 roc 

¿Cuándo tenderías a utilizar las curvas ROC sobre otras pruebas para determinar la capacidad predictiva de alguna medición en un resultado? Cuando se trata de resultados discretos (vivo / muerto, presente / ausente), ¿qué hace que las curvas ROC sean más o menos poderosas que algo así como un chi-cuadrado?

12 regression  roc 

Tengo 100,000 observaciones (9 variables indicadoras ficticias) con 1000 positivos. La regresión logística debería funcionar bien en este caso, pero la probabilidad de corte me desconcierta. En la literatura común, elegimos 50% de corte para predecir 1s y 0s. No puedo hacer esto ya que mi modelo da un valor …

11 regression  logistic  classification  generalized-linear-model  roc 

Me gustaría comparar 2 clasificadores diferentes para un problema de clasificación de texto multiclase que utiliza grandes conjuntos de datos de entrenamiento. Dudo si debo usar curvas ROC o curvas de aprendizaje para comparar los 2 clasificadores. Por un lado, las curvas de aprendizaje son útiles para decidir el tamaño …

11 machine-learning  classification  roc  accuracy 

Estoy trabajando con datos desequilibrados, donde hay alrededor de 40 casos de clase = 0 para cada clase = 1. Puedo discriminar razonablemente entre las clases usando características individuales, y entrenar a un ingenuo clasificador Bayes y SVM en 6 características y datos balanceados arrojaron una mejor discriminación (curvas ROC …

11 classification  svm  roc  naive-bayes  precision-recall