Preguntas etiquetadas con many-categories

¿Qué técnicas están disponibles para contraer (o agrupar) muchas categorías a unas pocas, con el fin de usarlas como entrada (predictor) en un modelo estadístico? Considere una variable como estudiante universitario mayor (disciplina elegida por un estudiante universitario). Es desordenada y categórica, pero puede tener docenas de niveles distintos. Digamos …

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Estoy trabajando en un conjunto de datos con más de 200,000 muestras y aproximadamente 50 características por muestra: 10 variables continuas y las otras ~ 40 son variables categóricas (países, idiomas, campos científicos, etc.). Para estas variables categóricas, tiene por ejemplo 150 países diferentes, 50 idiomas, 50 campos científicos, etc. …

37 machine-learning  classification  categorical-data  random-forest  many-categories 

Parece haber una creciente discusión sobre los gráficos circulares. Los principales argumentos en contra parecen ser: El área se percibe con menos potencia que la longitud. Los gráficos circulares tienen una relación muy baja de punto de datos a píxeles Sin embargo, creo que pueden ser de alguna manera útiles …

28 data-visualization  many-categories  pie-chart 

Estoy construyendo un modelo y creo que es probable que la ubicación geográfica sea muy buena para predecir mi variable objetivo. Tengo el código postal de cada uno de mis usuarios. Sin embargo, no estoy completamente seguro de la mejor manera de incluir el código postal como una función de …

24 machine-learning  feature-construction  many-categories 

El paquete randomForest de R no puede manejar factores con más de 32 niveles. Cuando se le dan más de 32 niveles, emite un mensaje de error: No puede manejar predictores categóricos con más de 32 categorías. Pero los datos que tengo tienen varios factores. Algunos de ellos tienen más …

22 r  random-forest  many-categories 

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

En un modelo de efectos mixtos, la recomendación es utilizar un efecto fijo para estimar un parámetro si se incluyen todos los niveles posibles (p. Ej., Hombres y mujeres). Se recomienda además utilizar un efecto aleatorio para tener en cuenta una variable si los niveles incluidos son solo una muestra …

15 mixed-model  random-effects-model  fixed-effects-model  many-categories 

Muchos algoritmos de aprendizaje automático, por ejemplo, redes neuronales, esperan lidiar con los números. Entonces, cuando tiene datos categóricos, necesita convertirlos. Por categórico quiero decir, por ejemplo: Marcas de automóviles: Audi, BMW, Chevrolet ... ID de usuario: 1, 25, 26, 28 ... Aunque los ID de usuario son números, son …

14 machine-learning  many-categories 

Estoy luchando por encontrar un método para reducir el número de categorías en datos nominales u ordinales. Por ejemplo, supongamos que quiero construir un modelo de regresión en un conjunto de datos que tenga varios factores nominales y ordinales. Si bien no tengo problemas con este paso, a menudo me …

14 r  categorical-data  dimensionality-reduction  many-categories 

Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las diferentes pruebas difieren …

12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 

Quiero entrenar un clasificador, digamos SVM, o bosque aleatorio, o cualquier otro clasificador. Una de las características del conjunto de datos es una variable categórica con 1000 niveles. ¿Cuál es la mejor manera de reducir el número de niveles en esta variable? En R hay una función llamada combine.levels()en el …

11 classification  svm  random-forest  many-categories 

Soy consciente del hecho de que las variables categóricas con k niveles deben codificarse con k-1 en la codificación ficticia (de manera similar para las variables categóricas de valores múltiples). Me preguntaba cuánto problema tiene una codificación de un punto (es decir, usando k variables en lugar de) sobre la …

11 regression  multiple-regression  categorical-data  many-categories 

¿Se pregunta si alguien se ha encontrado con un paquete / función en R que combine niveles de un factor cuya proporción de todos los niveles en un factor sea inferior a algún umbral? Específicamente, uno de los primeros pasos en la preparación de datos que realizo es colapsar niveles …

10 r  many-categories 

Los modelos penalizados se pueden usar para estimar modelos donde el número de parámetros es igual o incluso mayor que el tamaño de la muestra. Esta situación puede surgir en modelos log-lineales de grandes tablas dispersas de datos categóricos o de conteo. En estos entornos, a menudo también es deseable …

9 categorical-data  lasso  elastic-net  log-linear  many-categories 

He estado buscando preguntas sobre la codificación de características categóricas, pero no pude encontrar ninguna que discuta mi problema. Disculpas si me lo perdí. Digamos que tenemos un conjunto de datos con variables binarias y nominales de aproximadamente igual importancia cada una. La mayoría de los clasificadores no pueden ocuparse …

8 classification  categorical-data  dimensionality-reduction  feature-construction  many-categories