Preguntas etiquetadas con cart

Al codificar características categóricas para la regresión lineal, hay una regla: el número de dummies debe ser uno menos que el número total de niveles (para evitar la colinealidad). ¿Existe una regla similar para los árboles de decisión (en bolsas, potenciados)? Pregunto esto porque una práctica estándar en Python parece …

13 categorical-data  random-forest  cart  boosting 

Encontré muchos artículos que afirman que los métodos de impulso son sensibles a los valores atípicos, pero ningún artículo explica por qué. En mi experiencia, los valores atípicos son malos para cualquier algoritmo de aprendizaje automático, pero ¿por qué los métodos de refuerzo son especialmente sensibles? ¿Cómo clasificarían los siguientes …

12 machine-learning  svm  outliers  cart  boosting 

¿Cuál es una mejor función de costo para un árbol forestal aleatorio: índice de Gini o entropía? Estoy tratando de implementar un bosque aleatorio en Clojure.

12 classification  random-forest  cart 

Tengo curiosidad acerca de la implementación práctica de una división binaria en un árbol de decisión, ya que se relaciona con los niveles de un predictor categórico .XjXjX{j} Específicamente, a menudo utilizaré algún tipo de esquema de muestreo (por ejemplo, embolsado, sobremuestreo, etc.) al construir un modelo predictivo utilizando un …

12 cart  rpart  partitioning 

En esta pregunta, ¿existe algún método para construir árboles de decisión que tenga en cuenta los predictores estructurados / jerárquicos / multinivel? - mencionan un método de datos de panel para árboles. ¿Existen métodos de datos de panel específicos para admitir máquinas de vectores y redes neuronales? Si es así, …

12 r  machine-learning  svm  panel-data  cart 

Creo que esta es una pregunta directa, aunque el razonamiento detrás de por qué o por qué no puede no serlo. La razón por la que pregunto es que recientemente escribí mi propia implementación de un RF y, aunque funciona bien, no está funcionando tan bien como esperaba (según el …

12 algorithms  random-forest  cart 

Cuando se trata de árboles de decisión, ¿puede el valor predicho quedar fuera del rango de los datos de entrenamiento? Por ejemplo, si el rango del conjunto de datos de entrenamiento de la variable objetivo es 0-100, cuando genero mi modelo y lo aplico a otra cosa, ¿pueden mis valores …

11 regression  predictive-models  random-forest  cart 

¿Puede alguien explicarme cuándo usar la impureza de Gini y la ganancia de información para los árboles de decisión? ¿Me puede dar situaciones / ejemplos de cuándo es mejor usar cuál?

11 machine-learning  classification  data-mining  cart 

Soy un poco nuevo en la minería de datos y estoy trabajando en un modelo de clasificación para la predicción de calificación de películas. He recopilado conjuntos de datos de IMDB, y estoy planeando usar un árbol de decisión y enfoques de vecinos más cercanos para mi modelo. Me gustaría …

11 classification  cart 

Un bosque aleatorio es una colección de árboles de decisión formados seleccionando aleatoriamente solo ciertas características con las que construir cada árbol (y algunas veces empaquetando los datos de entrenamiento). Aparentemente aprenden y generalizan bien. ¿Alguien ha realizado un muestreo MCMC del espacio del árbol de decisión o los ha …

11 mcmc  monte-carlo  random-forest  cart 

¿Hay alguna manera de que una vez que se construya un árbol de clasificación complejo usando rpart (en R), para organizar las reglas de decisión producidas para cada clase? Entonces, en lugar de obtener un árbol enorme, ¿obtenemos un conjunto de reglas para cada una de las clases? (¿si es …

11 r  classification  cart  rpart 

Estoy trabajando con algunos conjuntos de datos grandes usando el paquete gbm en R. Tanto mi matriz de predicción como mi vector de respuesta son bastante escasos (es decir, la mayoría de las entradas son cero). Esperaba construir árboles de decisión usando un algoritmo que aprovecha esta escasez, como se …

11 r  regression  machine-learning  classification  cart 

Si consideramos un árbol de decisión completamente desarrollado (es decir, un árbol de decisión no podado) tiene una alta varianza y un bajo sesgo. El ensacado y los bosques aleatorios usan estos modelos de alta varianza y los agregan para reducir la varianza y así mejorar la precisión de la …

11 variance  random-forest  cart  bias  bagging 

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Quiero implementar Adaboost usando Decision Stump. ¿Es correcto tomar tantas decisiones como las características de nuestro conjunto de datos en cada iteración de Adaboost? Por ejemplo, si tengo un conjunto de datos con 24 características, ¿debería tener 24 clasificador de tocones de decisión en cada iteración? ¿O debería elegir al …

11 machine-learning  classification  cart  boosting