Preguntas etiquetadas con boosting

Hace poco, estaba trabajando en el aprendizaje de algoritmos de refuerzo, como adaboost, aumento de gradiente, y he sabido que el árbol de aprendizaje débil más utilizado es el árbol. Realmente quiero saber si hay algunos ejemplos recientes exitosos (me refiero a algunos artículos o artículos) para usar redes neuronales …

21 neural-networks  deep-learning  boosting  ensemble  dropout 

Estaba leyendo el informe de la solución ganadora de una competencia de Kaggle ( Clasificación de malware ). El informe se puede encontrar en esta publicación del foro . El problema era un problema de clasificación (nueve clases, la métrica era la pérdida logarítmica) con 10000 elementos en el conjunto …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Después de realizar el análisis de componentes principales (PCA), quiero proyectar un nuevo vector en el espacio PCA (es decir, encontrar sus coordenadas en el sistema de coordenadas PCA). He calculado PCA en lenguaje R usando prcomp. Ahora debería poder multiplicar mi vector por la matriz de rotación PCA. ¿Deben …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

He leído varias declaraciones (aparentemente) contradictorias sobre si AdaBoost (u otras técnicas de refuerzo) son menos o más propensas al sobreajuste en comparación con otros métodos de aprendizaje. ¿Hay buenas razones para creer lo uno o lo otro? Si depende, ¿de qué depende? ¿Cuáles son las razones por las que …

20 machine-learning  boosting 

Estoy tratando de entender cómo funciona XGBoost. Ya entiendo cómo funcionan los árboles impulsados ​​por gradiente en Python sklearn. Lo que no está claro para mí es si XGBoost funciona de la misma manera, pero más rápido, o si hay diferencias fundamentales entre él y la implementación de Python. Cuando …

20 scikit-learn  boosting  gbm  xgboost 

Mi configuración es la siguiente: Estoy siguiendo las pautas en "Modelado predictivo aplicado". Por lo tanto, he filtrado características correlacionadas y termino con lo siguiente: 4900 puntos de datos en el conjunto de entrenamiento y 1600 puntos de datos en el conjunto de prueba. Tengo 26 características y el objetivo …

20 machine-learning  boosting  overfitting 

El tocón de decisión es un árbol de decisión con una sola división. También se puede escribir como una función por partes. Por ejemplo, suponga que es un vector, y es el primer componente de , en la configuración de regresión, se puede usar un tocón de decisiónx 1 xXxxX1x1x_1Xxx …

19 machine-learning  cart  linear  boosting 

El parámetro de velocidad de aprendizaje ( ) en Gradient Boosting reduce la contribución de cada nuevo modelo base, típicamente un árbol poco profundo, que se agrega en la serie. Se demostró que aumenta drásticamente la precisión del conjunto de pruebas, lo cual es comprensible ya que con pasos más …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor se …

19 cross-validation  boosting  prediction-interval 

He leído el artículo de Alexandru Niculescu-Mizil y Rich Caruana " Obtención de probabilidades calibradas del aumento " y la discusión en este hilo. Sin embargo, todavía tengo problemas para comprender e implementar la logística o el escalado de Platt para calibrar la salida de mi clasificador de refuerzo de …

19 machine-learning  boosting 

En general, en un problema de clasificación donde el objetivo es predecir con precisión la pertenencia a una clase fuera de la muestra, ¿cuándo no debo usar un clasificador de conjunto? Esta pregunta está estrechamente relacionada con ¿Por qué no usar siempre el aprendizaje conjunto? . Esa pregunta pregunta por …

17 classification  boosting  ensemble  bagging 

Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de …

17 cart  boosting  xgboost  bagging 

La pregunta Estoy luchando por comprender cómo se mantiene la predicción dentro del intervalo [ 0 , 1 ][0 0,1][0,1] cuando se realiza una clasificación binaria con Gradient Boosting. Supongamos que estamos trabajando en un problema de clasificación binaria, y nuestra función objetivo es la pérdida de registro, , donde …

17 logistic  classification  boosting 

¿Puede la máquina de aumento de gradiente de Friedman lograr un mejor rendimiento que el Bosque aleatorio de Breiman ? Si es así, ¿en qué condiciones o qué tipo de conjunto de datos puede mejorar gbm?

16 machine-learning  data-mining  random-forest  boosting 

Estoy lidiando con un problema de clasificación binaria supervisada. Me gustaría usar el paquete GBM para clasificar a las personas como no infectadas / infectadas. Tengo 15 veces más personas no infectadas que infectadas. Me preguntaba si los modelos GBM sufren en el caso de los tamaños de clase desequilibrados? …

16 r  machine-learning  boosting  unbalanced-classes  gbm