Preguntas etiquetadas con unbalanced-classes

Actualmente me encuentro con algunos problemas al analizar un conjunto de datos de tweets con máquinas de vectores de soporte. El problema es que tengo un conjunto de entrenamiento de clase binaria desequilibrado (5: 2); que se espera que sea proporcional a la distribución de clase real. Al predecir, obtengo …

11 machine-learning  classification  svm  unbalanced-classes  precision-recall 

Considere una matriz de entrada y una salida binaria y .XXXyyy Una forma común de medir el rendimiento de un clasificador es usar curvas ROC. En una gráfica ROC, la diagonal es el resultado que se obtendría de un clasificador aleatorio. En caso de una salida no balanceada el rendimiento …

10 classification  roc  unbalanced-classes 

Entiendo que la medida f (basada en la precisión y el recuerdo) es una estimación de la precisión de un clasificador. Además, la medida f se ve favorecida sobre la precisión cuando tenemos un conjunto de datos desequilibrado. Tengo una pregunta simple (que trata más sobre el uso de la …

10 machine-learning  classification  data-mining  unbalanced-classes  accuracy 

Estoy realizando un análisis sobre la probabilidad de incumplimiento de préstamo utilizando regresión logística y bosques aleatorios. Cuando uso la regresión logística, la predicción siempre es '1' (lo que significa un buen préstamo). Nunca he visto esto antes, y no sé por dónde empezar en términos de tratar de resolver …

10 regression  logistic  predictive-models  unbalanced-classes  scoring-rules 

Ejemplos: Tengo una oración en la descripción del trabajo: "Ingeniero senior de Java en el Reino Unido". Quiero usar un modelo de aprendizaje profundo para predecirlo en 2 categorías: English y IT jobs. Si uso el modelo de clasificación tradicional, solo puede predecir 1 etiqueta con softmaxfunción en la última …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

Me gustaría realizar una combinación de sobremuestreo y submuestreo para equilibrar mi conjunto de datos con aproximadamente 4000 clientes divididos en dos grupos, donde uno de los grupos tiene una proporción de aproximadamente el 15%. He examinado SMOTE ( http://www.inside-r.org/packages/cran/DMwR/docs/SMOTE ) y ROSE ( http://cran.r-project.org/web/packages/ROSE/ ROSE.pdf ), pero ambos crean …

9 unbalanced-classes  resampling  oversampling 

1) ¿Cómo puedo cambiar el umbral de clasificación (creo que es 0.5 por defecto) en RandomForest en sklearn? 2) ¿cómo puedo submuestrear en sklearn? 3) Tengo el siguiente resultado del clasificador RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 0.87 …

9 classification  random-forest  precision-recall  unbalanced-classes 

Estoy tratando de usar SMOTE para corregir el desequilibrio en mi problema de clasificación de varias clases. Aunque SMOTE funciona perfectamente en el conjunto de datos de iris según el documento de ayuda de SMOTE, no funciona en un conjunto de datos similar. Así es como se ven mis datos. …

9 r  classification  unbalanced-classes  oversampling 

Estoy tratando de construir un modelo de predicción con SVM en datos bastante desequilibrados. Mis etiquetas / resultados tienen tres clases, positiva, neutral y negativa. Yo diría que el ejemplo positivo representa alrededor del 10-20% de mis datos, neutral alrededor del 50-60% y negativo alrededor del 30-40%. Estoy tratando de …

9 machine-learning  predictive-models  svm  unbalanced-classes 

He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la siguiente: ¿Debo asegurarme …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

Con frecuencia escucho un muestreo ascendente o descendente de los datos discutidos como una forma de tratar con la clasificación de los datos desequilibrados. Entiendo que esto podría ser útil si está trabajando con un clasificador binario (en lugar de probabilístico o basado en puntajes) y lo trata como un …

8 classification  roc  unbalanced-classes 

Tengo un conjunto de datos con una variable de respuesta binaria (supervivencia) y 3 variables explicativas ( A= 3 niveles, B= 3 niveles, C= 6 niveles). En este conjunto de datos, los datos están bien equilibrados, con 100 individuos por ABCcategoría. Ya se estudió el efecto de éstos A, By …

8 logistic  unbalanced-classes  weighted-regression  rare-events  case-control-study 

Hay una pregunta muy confusa en mi mente. Tengo datos y me gustaría comparar las puntuaciones numéricas entre hombres y mujeres. Hay una gran diferencia en esos dos grupos: el número de hombres es 34, mientras que el número de mujeres es 310, y las variaciones no son iguales. Hasta …

8 t-test  sample-size  unbalanced-classes  permutation-test 

Recuerdo haber visto / leído en alguna parte que para SVM multiclase con datos no balanceados, había una manera de determinar los pesos de clase a partir de los datos de entrenamiento (en lugar de la validación X). ¿Alguien sabe cuál es el método o de qué papel proviene? Gracias

8 machine-learning  svm  unbalanced-classes 

Estoy usando la regresión de Softmax para un problema de clasificación de varias clases. No tengo iguales probabilidades previas para cada una de las clases. Sé por Regresión logística (regresión softmax con 2 clases) que las probabilidades previas de las clases se agregan implícitamente al sesgo ( ).log(p0/p1)log⁡(p0/p1)\log(p_0/p_1) Por lo …

8 logistic  prior  unbalanced-classes