Estadísticas y Big Data classification

3

High Recall: baja precisión para el conjunto de datos no balanceado

Actualmente me encuentro con algunos problemas al analizar un conjunto de datos de tweets con máquinas de vectores de soporte. El problema es que tengo un conjunto de entrenamiento de clase binaria desequilibrado (5: 2); que se espera que sea proporcional a la distribución de clase real. Al predecir, obtengo …

11 machine-learning classification svm unbalanced-classes precision-recall

3

El clasificador "bueno" destruyó mi curva Precision-Recall. ¿Que pasó?

Estoy trabajando con datos desequilibrados, donde hay alrededor de 40 casos de clase = 0 para cada clase = 1. Puedo discriminar razonablemente entre las clases usando características individuales, y entrenar a un ingenuo clasificador Bayes y SVM en 6 características y datos balanceados arrojaron una mejor discriminación (curvas ROC …

11 classification svm roc naive-bayes precision-recall

5

¿Por qué se debe evitar el binning a toda costa?

Así que he leído algunas publicaciones sobre por qué siempre se debe evitar el binning . Una referencia popular para esa afirmación es este enlace . La escapada principal es que los puntos de agrupamiento (o puntos de corte) son bastante arbitrarios, así como la pérdida de información resultante, y …

10 classification categorical-data continuous-data splines binning

3

¿Cuándo usaría PCA en lugar de LDA en la clasificación?

Estoy leyendo este artículo sobre la diferencia entre el Análisis de componentes principales y el Análisis discriminante múltiple (Análisis discriminante lineal), y estoy tratando de entender por qué alguna vez usaría PCA en lugar de MDA / LDA. La explicación se resume de la siguiente manera: en términos generales, en …

10 classification pca dimensionality-reduction discriminant-analysis

1

¿Por lo general, las redes neuronales tardan un poco en "activarse" durante el entrenamiento?

Estoy tratando de entrenar una red neuronal profunda para la clasificación, utilizando la propagación inversa. Específicamente, estoy usando una red neuronal convolucional para la clasificación de imágenes, usando la biblioteca Tensor Flow. Durante el entrenamiento, estoy experimentando un comportamiento extraño, y me pregunto si esto es típico o si puedo …

10 machine-learning classification neural-networks conv-neural-network tensorflow

3

Casos de uso RBF SVM (vs regresión logística y bosque aleatorio)

Support Vector Machines con núcleo de función de base radial es un clasificador supervisado de propósito general. Si bien conozco los fundamentos teóricos de estos SVM y sus puntos fuertes, no conozco los casos en los que son el método preferido. Entonces, ¿hay una clase de problemas para los cuales …

10 machine-learning logistic classification svm random-forest

4

Sobreajuste con clasificadores lineales

Hoy nuestro profesor declaró en clase que "no es posible sobreajustar con clasificadores lineales". Considero que eso es incorrecto, ya que incluso los clasificadores lineales pueden ser sensibles a los valores atípicos en el conjunto de entrenamiento; tomemos, por ejemplo, un margen duro. ¿O estoy equivocado? Obviamente, la linealidad probablemente …

10 classification overfitting

2

Aplicación de PCA para probar datos con fines de clasificación

Recientemente he aprendido sobre el maravilloso PCA y he hecho el ejemplo descrito en la documentación de scikit-learn . Estoy interesado en saber cómo puedo aplicar PCA a nuevos puntos de datos para fines de clasificación. Después de visualizar PCA en un plano bidimensional (eje x, y), veo que probablemente …

10 classification pca scikit-learn

1

Curvas ROC para conjuntos de datos no balanceados

Considere una matriz de entrada y una salida binaria y .XXXyyy Una forma común de medir el rendimiento de un clasificador es usar curvas ROC. En una gráfica ROC, la diagonal es el resultado que se obtendría de un clasificador aleatorio. En caso de una salida no balanceada el rendimiento …

10 classification roc unbalanced-classes

2

¿Por qué Adaboost con árboles de decisión?

He estado leyendo un poco sobre algoritmos de refuerzo para tareas de clasificación y Adaboost en particular. Entiendo que el propósito de Adaboost es llevar a varios "estudiantes débiles" y, a través de un conjunto de iteraciones sobre los datos de entrenamiento, empujar a los clasificadores para aprender a predecir …

10 machine-learning classification algorithms boosting

2

¿Cómo cambiar el umbral para la clasificación en R randomForests?

Toda la literatura de Modelado de Distribución de Especies sugiere que cuando se predice la presencia / ausencia de una especie utilizando un modelo que genera probabilidades (por ejemplo, RandomForests), la elección del umbral de probabilidad para clasificar una especie como presencia o ausencia es importante y uno debe No …

10 r classification random-forest threshold

3

Cómo visualizar la bondad de ajuste bayesiano para la regresión logística

Para un problema de regresión logística bayesiana, he creado una distribución predictiva posterior. Tomo muestras de la distribución predictiva y recibo miles de muestras de (0,1) por cada observación que tengo. Visualizar la bondad de ajuste es menos que interesante, por ejemplo: Este gráfico muestra las 10 000 muestras + …

10 bayesian data-visualization classification goodness-of-fit binary-data

1

¿Por qué Anova () y drop1 () proporcionaron diferentes respuestas para GLMM?

Tengo un GLMM de la forma: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Cuando lo uso drop1(model, test="Chi"), obtengo resultados diferentes a los que uso Anova(model, type="III")del paquete del automóvil o summary(model). Estos dos últimos dan las mismas respuestas. Usando un montón de …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

3

¿De dónde viene el término "aprender un modelo"?

A menudo escuché que los mineros de datos aquí usan este término. Como estadístico que ha trabajado en problemas de clasificación, estoy familiarizado con el término "entrenar a un clasificador" y supongo que "aprender un modelo" significa lo mismo. No me importa el término "entrenar a un clasificador". Eso parece …

10 classification data-mining terminology model

1

Sobre correlación cophenetic para la agrupación de dendrogramas

Considere el contexto de una agrupación de dendrogramas. Llamemos disimilitudes originales a las distancias entre los individuos. Después de construir el dendrograma, definimos la disparidad copénetica entre dos individuos como la distancia entre los grupos a los que pertenecen estos individuos. Algunas personas consideran que la correlación entre las diferencias …

10 clustering classification

Preguntas etiquetadas con classification