Preguntas etiquetadas con auc

La puntuación F1 es la media armónica de precisión y recuperación. El eje y de recuperación es una tasa positiva verdadera (que también es recuperación). Entonces, en ocasiones los clasificadores pueden tener un AUC bajo pero muy alto, ¿qué significa eso? ¿Cuáles son las diferencias entre AUC y F1-score?

14 machine-learning  precision-recall  auc  accuracy 

La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más …

14 classification  auc  model-evaluation  gini 

Tengo un conjunto de prueba de 100 casos y dos clasificadores. Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores. Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes (ROC AUC, sensibilidad, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

¿Por qué el área bajo la curva ROC es la probabilidad de que un clasificador clasifique una instancia "positiva" elegida al azar (de las predicciones recuperadas) más alta que una instancia "positiva" elegida al azar (de la clase positiva original)? ¿Cómo se prueba matemáticamente esta afirmación usando integral, dando los …

14 probability  roc  auc 

Dado un conjunto de datos con resultados binarios algunas matrices de predicción , el modelo de regresión logística estándar estima los coeficientes que maximizan la probabilidad binomial. Cuando X es rango completo, \ beta_ {MLE} es único; cuando la separación perfecta no está presente, es finita.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} ¿Este modelo de …

13 logistic  maximum-likelihood  auc 

Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un …

13 machine-learning  classification  roc  auc  model-evaluation 

Cuando evaluamos la calidad de un bosque aleatorio, por ejemplo, utilizando AUC, ¿es más apropiado calcular estas cantidades sobre las Muestras fuera de bolsa o sobre el conjunto de validación cruzada? Escuché que calcularlo a través de las muestras OOB ofrece una evaluación más pesimista, pero no veo por qué.

13 cross-validation  random-forest  auc 

En el aprendizaje automático, podemos usar el área bajo la curva ROC ( AUC abreviado a menudo , o AUROC) para resumir qué tan bien un sistema puede discriminar entre dos categorías. En la teoría de detección de señal, a menudo el d′d′d' (índice de sensibilidad) se usa para un …

13 machine-learning  roc  auc  signal-detection  d-prime 

Me encuentro con el coeficiente de dados para la similitud de volumen ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) y precisión ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Me parece que estas dos medidas son las mismas. ¿Alguna idea?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

He ajustado mi modelo y estoy tratando de entender si es bueno. He calculado las métricas recomendadas para evaluarlo ( / AUC / precisión / error de predicción / etc.) pero no sé cómo interpretarlas. En resumen, ¿cómo puedo saber si mi modelo es bueno en función de la métrica? …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Estoy realizando una tarea de clasificación binaria donde la probabilidad de resultado es bastante baja (alrededor del 3%). Estoy tratando de decidir si optimizar por AUC o pérdida de registro. Por lo que he entendido, AUC maximiza la capacidad del modelo para discriminar entre clases mientras que el logloss penaliza …

12 classification  binary-data  auc  log-loss 

Tengo un problema de clasificación binaria y experimento diferentes clasificadores en él: quiero comparar los clasificadores. ¿Cuál es una mejor medida de AUC o precisión? ¿Y por qué? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning  classification  auc 

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Debido a que tengo un conjunto de datos muy desequilibrado (resultados positivos del 9%), decidí que una curva de recuerdo de precisión era más apropiada que una curva ROC. Obtuve la medida de resumen análoga del área bajo la curva PR (.49, si está interesado) pero no estoy seguro de …

11 classification  precision-recall  auc 

Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos últimos dan las mismas respuestas. Usando un montón de …

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion