Preguntas etiquetadas con accuracy

Recientemente he estado aprendiendo sobre las reglas de puntuación adecuadas para los clasificadores probabilísticos. Varios hilos en este sitio web han hecho hincapié en que la precisión es una regla de puntuación inadecuada y no debe usarse para evaluar la calidad de las predicciones generadas por un modelo probabilístico como …

13 probability  accuracy  scoring-rules 

Me encuentro con el coeficiente de dados para la similitud de volumen ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) y precisión ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) Me parece que estas dos medidas son las mismas. ¿Alguna idea?

13 descriptive-statistics  roc  accuracy  precision-recall  auc 

He ajustado mi modelo y estoy tratando de entender si es bueno. He calculado las métricas recomendadas para evaluarlo ( / AUC / precisión / error de predicción / etc.) pero no sé cómo interpretarlas. En resumen, ¿cómo puedo saber si mi modelo es bueno en función de la métrica? …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Estoy aprendiendo sobre la selección de funciones. Puedo ver por qué sería importante y útil para la construcción de modelos. Pero centrémonos en las tareas de aprendizaje supervisado (clasificación). ¿Por qué es importante la selección de características para las tareas de clasificación? Veo mucha literatura escrita sobre la selección de …

11 feature-selection  accuracy  regression-strategies 

Digamos que tenemos una pregunta simple de "sí / no" a la que queremos saber la respuesta. Y hay N personas "votando" por la respuesta correcta. Cada votante tiene un historial: una lista de 1 y 0, que muestra si tenían razón o no sobre este tipo de preguntas en …

11 accuracy  uncertainty  weighted-mean  voting-system 

Me gustaría comparar 2 clasificadores diferentes para un problema de clasificación de texto multiclase que utiliza grandes conjuntos de datos de entrenamiento. Dudo si debo usar curvas ROC o curvas de aprendizaje para comparar los 2 clasificadores. Por un lado, las curvas de aprendizaje son útiles para decidir el tamaño …

11 machine-learning  classification  roc  accuracy 

Entiendo que la medida f (basada en la precisión y el recuerdo) es una estimación de la precisión de un clasificador. Además, la medida f se ve favorecida sobre la precisión cuando tenemos un conjunto de datos desequilibrado. Tengo una pregunta simple (que trata más sobre el uso de la …

10 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

Los valores típicos de AIC que he visto para modelos logísticos están en miles, al menos cientos. Por ejemplo, en http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ el AIC es 727.39 Si bien siempre se dice que AIC debe usarse solo para comparar modelos, quería entender qué significa un valor AIC particular. Según la fórmula, AIC=−2log(L)+2KAIC=−2log⁡(L)+2KAIC= …

9 regression  model-selection  aic  accuracy 

Estamos utilizando STL (implementación R) para pronosticar datos de series temporales. Todos los días hacemos pronósticos diarios. Nos gustaría comparar los valores de pronóstico con valores reales e identificar la desviación promedio. Por ejemplo, ejecutamos el pronóstico para mañana y obtuvimos puntos de pronóstico, nos gustaría comparar estos puntos de …

9 time-series  forecasting  accuracy 

Estoy buscando varias medidas de rendimiento para modelos predictivos. Se escribió mucho sobre problemas de uso de precisión, en lugar de algo más continuo para evaluar el rendimiento del modelo. Frank Harrell http://www.fharrell.com/post/class-damage/ proporciona un ejemplo cuando agregar una variable informativa a un modelo conducirá a una caída en la …

8 machine-learning  predictive-models  accuracy 

Trabajo como analista de datos, principalmente en SQL, proporcionando datos de operaciones a clientes internos. Raramente hago análisis estadísticos. Recientemente, los clientes internos me han venido con datos de proyectos mal diseñados (sin grupo de control, sin metodología planificada, etc.) y pidiéndome que haga un análisis de datos de sus …

8 multivariate-analysis  assumptions  accuracy 

He leído los excelentes comentarios sobre cómo lidiar con los valores perdidos antes de aplicar SVD, pero me gustaría saber cómo funciona con un ejemplo simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Dada la matriz anterior, …

8 r  missing-data  data-imputation  svd  sampling  matlab  mcmc  importance-sampling  predictive-models  prediction  algorithms  graphical-model  graph-theory  r  regression  regression-coefficients  r-squared  r  regression  modeling  confounding  residuals  fitting  glmm  zero-inflation  overdispersion  optimization  curve-fitting  regression  time-series  order-statistics  bayesian  prior  uninformative-prior  probability  discrete-data  kolmogorov-smirnov  r  data-visualization  histogram  dimensionality-reduction  classification  clustering  accuracy  semi-supervised  labeling  state-space-models  t-test  biostatistics  paired-comparisons  paired-data  bioinformatics  regression  logistic  multiple-regression  mixed-model  random-effects-model  neural-networks  error-propagation  numerical-integration  time-series  missing-data  data-imputation  probability  self-study  combinatorics  survival  cox-model  statistical-significance  wilcoxon-mann-whitney  hypothesis-testing  distributions  normal-distribution  variance  t-distribution  probability  simulation  random-walk  diffusion  hypothesis-testing  z-test  hypothesis-testing  data-transformation  lognormal  r  regression  agreement-statistics  classification  svm  mixed-model  non-independent  observational-study  goodness-of-fit  residuals  confirmatory-factor  neural-networks  deep-learning