Preguntas etiquetadas con xgboost

Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Existen varias implementaciones de la familia de modelos GBDT, tales como: GBM XGBoost LightGBM Catboost. ¿Cuáles son las diferencias matemáticas entre estas diferentes implementaciones? Catboost parece superar a las otras implementaciones incluso utilizando solo sus parámetros predeterminados de acuerdo con este punto de referencia , pero sigue siendo muy lento. …

33 boosting  xgboost 

Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol ' y es la regularización. Uno de los (muchos) pasos clave para el cálculo rápido es la aproximación:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), donde y son las derivadas …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Tengo un conjunto de datos muy desequilibrado. Estoy tratando de seguir los consejos y el uso de la optimización,scale_pos_weight pero no estoy seguro de cómo debo ajustarlo. Puedo ver que RegLossObj.GetGradientsí: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight entonces un gradiente de una muestra positiva sería más influyente. Sin embargo, …

26 unbalanced-classes  xgboost 

La definición del parámetro min_child_weight en xgboost se da como: suma mínima de peso de instancia (hessian) necesaria en un niño. Si el paso de partición del árbol da como resultado un nodo hoja con una suma de peso de instancia menor que min_child_weight, entonces el proceso de construcción abandonará …

23 machine-learning  xgboost  hessian 

Estoy tratando de entender cómo funciona XGBoost. Ya entiendo cómo funcionan los árboles impulsados ​​por gradiente en Python sklearn. Lo que no está claro para mí es si XGBoost funciona de la misma manera, pero más rápido, o si hay diferencias fundamentales entre él y la implementación de Python. Cuando …

20 scikit-learn  boosting  gbm  xgboost 

Estoy trabajando con muchos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear y rbf), KNN, LDA y XGBoost. Todos ellos fueron bastante rápidos, excepto SVM. Fue entonces cuando llegué a saber que necesita una función de escala para funcionar más rápido. Entonces comencé a preguntarme si debería hacer lo mismo …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de …

17 cart  boosting  xgboost  bagging 

Digamos que tenemos un problema de clasificación binaria con características principalmente categóricas. Utilizamos algún modelo no lineal (por ejemplo, XGBoost o Random Forests) para aprenderlo. ¿Debería preocuparse por la multicolinealidad? ¿Por qué? Si la respuesta a lo anterior es verdadera, ¿cómo debería uno luchar contra ella teniendo en cuenta que …

13 classification  random-forest  multicollinearity  xgboost 

He estado tratando de entender el aumento de gradiente leyendo varios blogs, sitios web y tratando de encontrar mi respuesta mirando, por ejemplo, el código fuente de XGBoost. Sin embargo, parece que no puedo encontrar una explicación comprensible de cómo los algoritmos de aumento de gradiente producen estimaciones de probabilidad. …

12 machine-learning  classification  boosting  ensemble  xgboost 

Recientemente he revisado el algoritmo XGBoost y he notado que este algoritmo puede manejar datos faltantes (sin requerir imputación) en la fase de entrenamiento. Me preguntaba si XGboost puede manejar los datos faltantes (sin requerir imputación) cuando se usa para pronosticar nuevas observaciones o si es necesario imputar los datos …

11 machine-learning  missing-data  data-imputation  xgboost 

Sé cómo implementar la función objetivo lineal y los aumentos lineales en XGBoost. Mi pregunta concreta es: cuando el algoritmo se ajusta al residual (o al gradiente negativo), ¿está usando una característica en cada paso (es decir, modelo univariante) o todas las características (modelo multivariado)? Cualquier referencia a la documentación …

9 regression  machine-learning  boosting  xgboost 

expertos! Tal vez, ¿sabes cómo calcular el intervalo de confianza para xgboost? La fórmula clásica con distribución t no puede ayudar, porque mis datos no se distribuyen normalmente. O no importa? Si sugiere algo de literatura, será muy útil, pero los enfoques en R y Python (en el contexto de …

8 confidence-interval  xgboost