Preguntas etiquetadas con roc

Esta pregunta trata sobre la estimación de puntajes de corte en un cuestionario de detección multidimensional para predecir un punto final binario, en presencia de escalas correlacionadas. Me preguntaron sobre el interés de controlar las puntuaciones secundarias asociadas al diseñar puntajes de corte en cada dimensión de una escala de …

20 epidemiology  roc 

¿Alguien puede explicarme las diferencias reales entre el análisis de regresión y el ajuste de curvas (lineal y no lineal), con un ejemplo si es posible? Parece que ambos intentan encontrar una relación entre dos variables (dependiente frente a independiente) y luego determinan el parámetro (o coeficiente) asociado con los …

17 regression  multiple-regression  fitting  roc  curve-fitting 

Acabo de terminar de leer esta discusión. Argumentan que PR AUC es mejor que ROC AUC en el conjunto de datos desequilibrados. Por ejemplo, tenemos 10 muestras en el conjunto de datos de prueba. 9 muestras son positivas y 1 es negativa. Tenemos un modelo terrible que predice todo lo …

17 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Una regla de puntuación adecuada es una regla que se maximiza mediante un modelo 'verdadero' y no permite 'cubrir' o jugar con el sistema (informar deliberadamente diferentes resultados, como es la verdadera creencia del modelo para mejorar la puntuación). El puntaje de Brier es correcto, la precisión (proporción clasificada correctamente) …

16 classification  references  roc  measurement-error  scoring-rules 

Tengo algunas dudas sobre qué medida de rendimiento usar, área bajo la curva ROC (TPR como función de FPR) o área bajo la curva de recuperación de precisión (precisión como función de recuperación). Mis datos están desequilibrados, es decir, el número de instancias negativas es mucho mayor que las instancias …

16 r  machine-learning  roc  precision-recall  auc 

Construí una curva ROC para un sistema de diagnóstico. El área bajo la curva se estimó entonces no paramétricamente como AUC = 0,89. Cuando intenté calcular la precisión en el umbral óptimo (el punto más cercano al punto (0, 1)), ¡obtuve la precisión del sistema de diagnóstico de 0,8, que …

16 roc  reliability  accuracy  auc 

¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y 0.5?

16 roc  model-evaluation  auc 

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Estoy estudiando un curso de aprendizaje automático y las diapositivas de la conferencia contienen información que encuentro contradictoria con el libro recomendado. El problema es el siguiente: hay tres clasificadores: clasificador A que proporciona un mejor rendimiento en el rango inferior de los umbrales, clasificador B que proporciona un mejor …

15 machine-learning  probability  data-visualization  classification  roc 

Supongamos que he construido un modelo de predicción para la aparición de una enfermedad en particular en un conjunto de datos (el conjunto de datos de construcción del modelo) y ahora quiero verificar qué tan bien funciona el modelo en un nuevo conjunto de datos (el conjunto de datos de …

15 predictive-models  cross-validation  survival  roc 

¿Cuáles son las ventajas de las curvas ROC? Por ejemplo, estoy clasificando algunas imágenes que es un problema de clasificación binaria. Extraje alrededor de 500 características y apliqué un algoritmo de selección de características para seleccionar un conjunto de características, luego apliqué SVM para la clasificación. En este caso, ¿cómo …

15 machine-learning  roc 

Estoy planeando usar validación cruzada estratificada repetida (10 veces) en aproximadamente 10,000 casos usando el algoritmo de aprendizaje automático. Cada vez que la repetición se realizará con diferentes semillas al azar. En este proceso, creo 10 instancias de estimaciones de probabilidad para cada caso. 1 instancia de estimación de probabilidad …

15 roc 

Tengo un conjunto de prueba de 100 casos y dos clasificadores. Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores. Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes (ROC AUC, sensibilidad, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Apliqué la regresión logística a mis datos en SAS y aquí están la curva ROC y la tabla de clasificación. Me siento cómodo con las figuras en la tabla de clasificación, pero no estoy exactamente seguro de lo que muestran la curva roc y el área debajo de ella. Cualquier …

14 regression  logistic  classification  roc 

Estoy tratando de entender cómo calcular el punto de corte óptimo para una curva ROC (el valor en el que se maximizan la sensibilidad y la especificidad). Estoy usando el conjunto aSAHde datos del paquete pROC. La outcomevariable podría explicarse por dos variables independientes: s100by ndka. Usando la sintaxis del …

14 r  roc  sensitivity-analysis  sensitivity-specificity