Preguntas etiquetadas con boosting

¿Cuáles son las similitudes y diferencias entre estos 3 métodos: Harpillera, Impulso ¿Apilado? Cuál es el mejor? ¿Y por qué? ¿Me puede dar un ejemplo para cada uno?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

El impulso del árbol de gradiente propuesto por Friedman utiliza árboles de decisión como aprendices básicos. Me pregunto si deberíamos hacer que el árbol de decisión base sea lo más complejo posible (completamente desarrollado) o más simple. ¿Hay alguna explicación para la elección? Random Forest es otro método de conjunto …

110 machine-learning  random-forest  cart  boosting  ensemble 

Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Breve definición de impulso : ¿Puede un conjunto de estudiantes débiles crear un solo estudiante fuerte? Un alumno débil se define como un clasificador que solo está ligeramente correlacionado con la clasificación verdadera (puede etiquetar ejemplos mejor que adivinar al azar). Breve definición de bosque aleatorio : Random Forests cultiva …

51 machine-learning  random-forest  boosting  bagging 

Estoy tratando de entender las diferencias entre GBM y Adaboost. Esto es lo que he entendido hasta ahora: Hay dos algoritmos de refuerzo, que aprenden de los errores del modelo anterior y finalmente hacen una suma ponderada de los modelos. GBM y Adaboost son bastante similares, excepto por sus funciones …

48 boosting  gbm  adaboost 

Mientras aprendía sobre el Gradient Boosting, no escuché ninguna restricción con respecto a las propiedades de un "clasificador débil" que el método usa para construir y ensamblar modelos. Sin embargo, no podía imaginar una aplicación de un GB que utilizara la regresión lineal y, de hecho, cuando realicé algunas pruebas, …

35 regression  machine-learning  boosting  ensemble  gradient 

He estado siguiendo competiciones de Kaggle durante mucho tiempo y me doy cuenta de que muchas estrategias ganadoras implican utilizar al menos uno de los "tres grandes": embolsar, impulsar y apilar. Para las regresiones, en lugar de centrarse en la construcción de un mejor modelo de regresión posible, la construcción …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Existen varias implementaciones de la familia de modelos GBDT, tales como: GBM XGBoost LightGBM Catboost. ¿Cuáles son las diferencias matemáticas entre estas diferentes implementaciones? Catboost parece superar a las otras implementaciones incluso utilizando solo sus parámetros predeterminados de acuerdo con este punto de referencia , pero sigue siendo muy lento. …

33 boosting  xgboost 

Estoy buscando una explicación de cómo se calcula la importancia variable relativa en los árboles potenciados por gradientes que no es demasiado general / simplista como: Las medidas se basan en la cantidad de veces que se selecciona una variable para dividir, ponderada por la mejora al cuadrado del modelo …

33 machine-learning  data-mining  predictive-models  cart  boosting 

¿Cuáles son algunas pautas útiles para probar parámetros (es decir, profundidad de interacción, minchild, frecuencia de muestreo, etc.) usando GBM? Digamos que tengo 70-100 características, una población de 200,000 y tengo la intención de probar la profundidad de interacción de 3 y 4. Claramente, necesito hacer algunas pruebas para ver …

31 r  hypothesis-testing  cart  boosting 

Tenía una pregunta sobre el parámetro de profundidad de interacción en gbm en R. Esta puede ser una pregunta novata, por lo que me disculpo, pero ¿cómo el parámetro, que creo que denota el número de nodos terminales en un árbol, básicamente indica X-way interacción entre los predictores? Solo trato …

30 r  machine-learning  boosting  gbm 

Como ejemplo, tome la función objetivo del modelo XGBoost en la iteración :ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) donde es la función de pérdida, es la salida del árbol ' y es la regularización. Uno de los (muchos) pasos clave para el cálculo rápido es la aproximación:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), donde y son las derivadas …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Consulte también una pregunta similar sobre estadísticas . Al impulsar algoritmos como AdaBoost y LPBoost , se sabe que los alumnos "débiles" que se combinan solo tienen que rendir mejor que la posibilidad de ser útiles, de Wikipedia: Los clasificadores que utiliza pueden ser débiles (es decir, mostrar una tasa …

28 machine-learning  theory  boosting 

¿Cuál es la forma más fácil de entender el impulso? ¿Por qué no aumenta los clasificadores muy débiles "hasta el infinito" (perfección)?

23 machine-learning  boosting 

Tengo varias preguntas estrechamente relacionadas con los alumnos débiles en el aprendizaje conjunto (por ejemplo, impulsar). Esto puede sonar tonto, pero ¿cuáles son los beneficios de usar estudiantes débiles en lugar de fuertes? (por ejemplo, ¿por qué no impulsar con métodos de aprendizaje "fuertes"?) ¿Existe algún tipo de fuerza "óptima" …

22 machine-learning  boosting  ensemble