Preguntas etiquetadas con xgboost

Estoy tratando de entender las diferencias clave entre GBM y XGBOOST. Intenté buscarlo en Google, pero no pude encontrar buenas respuestas que explicaran las diferencias entre los dos algoritmos y por qué xgboost casi siempre funciona mejor que GBM. ¿Qué hace que XGBOOST sea tan rápido?

41 machine-learning  algorithms  xgboost  ensemble-modeling  gbm 

Ejecuté un modelo xgboost. No sé exactamente cómo interpretar la salida de xgb.importance. ¿Cuál es el significado de ganancia, cobertura y frecuencia y cómo los interpretamos? Además, ¿qué significa Split, RealCover y RealCover%? Tengo algunos parámetros extra aquí ¿Hay algún otro parámetro que pueda brindarme más información sobre las características …

37 machine-learning  xgboost 

Estoy tratando de entrenar un modelo de aumento de gradiente en más de 50k ejemplos con 100 características numéricas. XGBClassifiermaneja 500 árboles en 43 segundos en mi máquina, mientras que GradientBoostingClassifiermaneja solo 10 árboles (!) en 1 minuto y 2 segundos :( No me molesté en tratar de cultivar 500 …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

XGBoost ha estado haciendo un gran trabajo cuando se trata de lidiar con variables dependientes categóricas y continuas. Pero, ¿cómo selecciono los parámetros optimizados para un problema de XGBoost? Así es como apliqué los parámetros para un problema reciente de Kaggle: param <- list( objective = "reg:linear", booster = "gbtree", …

27 r  python  xgboost 

Estoy tratando de entender cuál es mejor (más preciso, especialmente en problemas de clasificación) He estado buscando artículos que comparan LightGBM y XGBoost pero encontré solo dos: https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 , que solo se trata de velocidad pero no de precisión. https://github.com/Microsoft/LightGBM/wiki/Experiments , que es de los autores de LightGBM y no …

25 xgboost 

No tenía claros algunos conceptos: XGBoost convierte a los alumnos débiles en alumnos fuertes. ¿Cuál es la ventaja de hacer esto? ¿Combinando muchos estudiantes débiles en lugar de usar un solo árbol? Random Forest usa varias muestras del árbol para crear un árbol. ¿Cuál es la ventaja de este método …

25 machine-learning  data-mining  random-forest  decision-trees  xgboost 

Actualmente estoy usando XGBoost en un conjunto de datos con 21 características (seleccionadas de la lista de unas 150 características), luego las codifiqué para obtener ~ 98 características. Algunas de estas 98 características son algo redundantes, por ejemplo: una variable (característica) también aparece como BUNAAA yCsiUNABA\frac{B}{A} .doUNACA\frac{C}{A} Mis preguntas son: …

23 feature-selection  correlation  xgboost  gbm 

¿Hay alguna manera de agregar más importancia a los puntos que son más recientes al analizar datos con xgboost?

22 xgboost  weighted-data 

Tengo 3 clases con esta distribución: Class 0: 0.1169 Class 1: 0.7668 Class 2: 0.1163 Y estoy usando xgboostpara la clasificación. Sé que hay un parámetro llamado scale_pos_weight. Pero, ¿cómo se maneja para el caso 'multiclase' y cómo puedo configurarlo correctamente?

20 classification  xgboost  multiclass-classification  unbalanced-classes 

Actualmente estoy usando XGBoost para la predicción de riesgos, parece estar haciendo un buen trabajo en el departamento de clasificación binaria, pero los resultados de probabilidad están muy lejos, es decir, cambiar el valor de una característica en una observación en una cantidad muy pequeña puede hacer que la probabilidad …

15 machine-learning  classification  xgboost  probability  probability-calibration 

Problema 1: Estoy confundido por la descripción de LightGBM con respecto a la forma en que se expande el árbol. Ellos declaran: La mayoría de los algoritmos de aprendizaje del árbol de decisión crecen en árbol por nivel (profundidad), como en la siguiente imagen: Preguntas 1 : ¿Qué "mayoría" de …

14 decision-trees  xgboost 

Hasta donde sé, para entrenar a aprender a clasificar modelos, debe tener tres cosas en el conjunto de datos: etiqueta o relevancia ID de grupo o consulta vector de características Por ejemplo, el conjunto de datos Microsoft Learning to Rank usa este formato (etiqueta, identificación de grupo y características). 1 …

14 search  ranking  xgboost  gbm 

Estoy tratando de ejecutar xgboost en scikit learn. Y solo uso Pandas para cargar datos en el marco de datos. ¿Cómo se supone que debo usar pandas df con xgboost? Estoy confundido por la rutina DMatrix requerida para ejecutar xgboost algo.

14 scikit-learn  pandas  xgboost 

Si entreno a mi modelo con el siguiente código: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns] dmatrix = xg.DMatrix(features.values, target.values, feature_names=features.columns.values) clf = xg.train(params, dmatrix) termina en aproximadamente 1 minuto. Si entreno mi modelo usando el método …

13 machine-learning  python  decision-trees  xgboost  efficiency 

Intenté usar las características de las características de los bosques aleatorios para realizar una selección empírica de características para un problema de regresión donde todas las características son categóricas y muchas de ellas tienen muchos niveles (del orden de 100-1000). Dado que la codificación única crea una variable ficticia para …

12 scikit-learn  feature-selection  random-forest  xgboost  categorical-data