Preguntas etiquetadas con model-evaluation

Esta es una pregunta general que se hizo indirectamente varias veces aquí, pero carece de una única respuesta autorizada. Sería genial tener una respuesta detallada a esto para la referencia. La precisión , la proporción de clasificaciones correctas entre todas las clasificaciones, es una medida muy simple y muy "intuitiva", …

107 machine-learning  classification  accuracy  model-evaluation  scoring-rules 

Anteriormente pregunté esto en StackOverflow, pero parece que podría ser más apropiado aquí, dado que no obtuvo ninguna respuesta en SO. Es una especie de intersección entre estadísticas y programación. Necesito escribir un código para hacer PCA (Análisis de componentes principales). He examinado los algoritmos conocidos e implementado este , …

54 pca  algorithms  model-evaluation  high-dimensional 

Me he dado cuenta de que hay algunas implementaciones de bosque aleatorio como ALGLIB, Waffles y algunos paquetes R como randomForest. ¿Alguien puede decirme si estas bibliotecas están altamente optimizadas? ¿Son básicamente equivalentes a los bosques aleatorios como se detalla en Los elementos del aprendizaje estadístico o se han agregado …

43 random-forest  algorithms  model-evaluation 

Uno de los mayores problemas con el análisis de conglomerados es que es posible que tengamos que derivar conclusiones diferentes cuando nos basamos en diferentes métodos de agrupación utilizados (incluidos diferentes métodos de vinculación en la agrupación jerárquica). Me gustaría saber su opinión sobre esto: qué método seleccionará y cómo. …

35 clustering  validation  model-evaluation  hierarchical-clustering 

Recientemente me encontré con un artículo que propone usar un clasificador k-NN en un conjunto de datos específico. Los autores utilizaron todas las muestras de datos disponibles para realizar la validación cruzada de k veces para diferentes valores de k e informar los resultados de la validación cruzada de la …

31 cross-validation  references  model-selection  model-evaluation 

Como todos sabemos, hay 2 métodos para evaluar el modelo de regresión logística y están probando cosas muy diferentes. Poder de predicción: Obtenga una estadística que mida qué tan bien puede predecir la variable dependiente en función de las variables independientes. Los conocidos Pseudo R ^ 2 son McFadden (1974) …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Trato con un problema de detección de fraude (similar a la calificación crediticia). Como tal, existe una relación altamente desequilibrada entre las observaciones fraudulentas y no fraudulentas. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html proporciona una excelente visión general de las diferentes métricas de clasificación. Precision and Recallo kappaambos parecen ser una buena opción: Una forma …

22 classification  unbalanced-classes  precision-recall  cohens-kappa  model-evaluation 

¿Pueden los valores AUC-ROC estar entre 0-0.5? ¿El modelo genera valores entre 0 y 0.5?

16 roc  model-evaluation  auc 

La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más …

14 classification  auc  model-evaluation  gini 

Una medida común utilizada para comparar dos o más modelos de clasificación es usar el área bajo la curva ROC (AUC) como una forma de evaluar indirectamente su desempeño. En este caso, un modelo con un AUC más grande generalmente se interpreta que funciona mejor que un modelo con un …

13 machine-learning  classification  roc  auc  model-evaluation 

¿Son los coeficientes de correlación phi y Matthews el mismo concepto? ¿Cómo se relacionan o equivalen al coeficiente de correlación de Pearson para dos variables binarias? Supongo que los valores binarios son 0 y 1. La correlación de Pearson entre dos variables aleatorias de Bernoulli e es:yXxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

En mi exposición en el aula a la minería de datos, el método de retención se introdujo como una forma de evaluar el rendimiento del modelo. Sin embargo, cuando tomé mi primera clase de modelos lineales, esto no se introdujo como un medio de validación o evaluación del modelo. Mi …

12 regression  validation  model-evaluation  out-of-sample 

Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Estaba leyendo acerca de las métricas de regresión en la pitón scikit-learn Manual y aunque cada uno de ellos tiene su propia fórmula, no puedo decir intuitivamente cuál es la diferencia entre y la puntuación de la varianza y, por tanto, cuándo se debe utilizar una u otra de evaluar …

12 regression  variance  scikit-learn  r-squared  model-evaluation 

Esta es la puntuación F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} El artículo de Wikipedia dice que .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" No entendí la …

10 machine-learning  precision-recall  model-evaluation