Preguntas etiquetadas con boosting

Estoy experimentando con el algoritmo de la máquina de aumento de gradiente a través del caretpaquete en R. Usando un pequeño conjunto de datos de admisión a la universidad, ejecuté el siguiente código: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

Para impulsar algoritmos, diría que evolucionaron bastante bien. A principios de 1995 se introdujo AdaBoost, luego de un tiempo fue Gradient Boosting Machine (GBM). Recientemente, alrededor de 2015 se introdujo XGBoost, que es preciso, maneja el sobreajuste y se ha convertido en un ganador de múltiples competencias de Kaggle. En …

14 random-forest  boosting  bagging 

Como he oído hablar del clasificador AdaBoost que se menciona repetidamente en el trabajo, quería tener una mejor idea de cómo funciona y cuándo uno podría usarlo. Continué y leí una serie de documentos y tutoriales que encontré en Google, pero hay aspectos del clasificador que todavía tengo problemas para …

14 machine-learning  boosting  adaboost 

Hay una variante de impulso llamada gentleboost . ¿En qué se diferencia el impulso suave del AdaBoost más conocido ?

14 machine-learning  boosting 

En realidad, pensé que había entendido lo que se puede mostrar con un diagrama de dependencia parcial, pero usando un ejemplo hipotético muy simple, me quedé bastante perplejo. En el siguiente fragmento de código, genero tres variables independientes ( a , b , c ) y una variable dependiente ( …

14 r  random-forest  boosting  partial-plot 

Estoy tratando de aumentar el gradiente en un conjunto de datos con una tasa de eventos de aproximadamente 1% usando Enterprise miner, pero no produce ningún resultado. Mi pregunta es, dado que es un enfoque basado en un árbol de decisión, ¿es correcto usar el aumento de gradiente con un …

14 boosting  unbalanced-classes  rare-events  gradient 

Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman critica los modelos de datos (paramétricos) porque se basan …

13 machine-learning  data-mining  random-forest  boosting  bagging 

Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no lo sé).

13 boosting  ensemble  bagging 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 5 meses . ¿Existe una buena biblioteca de Python para entrenar árboles de decisión potenciados?

13 python  cart  boosting 

Al codificar características categóricas para la regresión lineal, hay una regla: el número de dummies debe ser uno menos que el número total de niveles (para evitar la colinealidad). ¿Existe una regla similar para los árboles de decisión (en bolsas, potenciados)? Pregunto esto porque una práctica estándar en Python parece …

13 categorical-data  random-forest  cart  boosting 

A medida que descubro el aprendizaje automático, veo diferentes técnicas interesantes como: ajusta automáticamente los algoritmos con técnicas como grid search, obtener resultados más precisos mediante la combinación de diferentes algoritmos del mismo "tipo", es decir boosting, obtener resultados más precisos mediante la combinación de diferentes algoritmos (pero no el …

12 machine-learning  algorithms  boosting  stacking  automatic-algorithms 

Encontré muchos artículos que afirman que los métodos de impulso son sensibles a los valores atípicos, pero ningún artículo explica por qué. En mi experiencia, los valores atípicos son malos para cualquier algoritmo de aprendizaje automático, pero ¿por qué los métodos de refuerzo son especialmente sensibles? ¿Cómo clasificarían los siguientes …

12 machine-learning  svm  outliers  cart  boosting 

Haría una pregunta relacionada con este . Encontré un ejemplo de escritura de la función de pérdida personalizada para xgboost aquí : loglossobj <- function(preds, dtrain) { # dtrain is the internal format of the training data # We extract the labels from the training data labels <- getinfo(dtrain, "label") …

12 r  machine-learning  gradient-descent  boosting  loss-functions 

He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente producen estimaciones de probabilidad. …

12 machine-learning  classification  boosting  ensemble  xgboost 

Sé que Adaboost intenta generar un clasificador fuerte usando una combinación lineal de un conjunto de clasificadores débiles. Sin embargo, he leído algunos documentos que sugieren que Adaboost y SVM funcionan en armonía (aunque SVM es un clasificador fuerte) en ciertas condiciones y casos . No puedo entender desde una …

11 classification  svm  references  boosting