Estadísticas y Big Data bagging

7

Ensacado, refuerzo y apilamiento en el aprendizaje automático

¿Cuáles son las similitudes y diferencias entre estos 3 métodos: Harpillera, Impulso ¿Apilado? Cuál es el mejor? ¿Y por qué? ¿Me puede dar un ejemplo para cada uno?

245 machine-learning boosting ensemble bagging model-averaging

5

¿Es el bosque aleatorio un algoritmo de refuerzo?

Breve definición de impulso : ¿Puede un conjunto de estudiantes débiles crear un solo estudiante fuerte? Un alumno débil se define como un clasificador que solo está ligeramente correlacionado con la clasificación verdadera (puede etiquetar ejemplos mejor que adivinar al azar). Breve definición de bosque aleatorio : Random Forests cultiva …

51 machine-learning random-forest boosting bagging

2

¿Es esta la metodología de regresión más moderna?

He estado siguiendo competiciones de Kaggle durante mucho tiempo y me doy cuenta de que muchas estrategias ganadoras implican utilizar al menos uno de los "tres grandes": embolsar, impulsar y apilar. Para las regresiones, en lugar de centrarse en la construcción de un mejor modelo de regresión posible, la construcción …

33 predictive-models boosting bagging stacking model-averaging

2

¿A qué se refiere el "tamaño de nodo" en el bosque aleatorio?

No entiendo exactamente qué se entiende por tamaño de nodo. Sé qué es un nodo de decisión, pero no qué tamaño de nodo es.

20 machine-learning random-forest bagging

3

¿Cuándo no debo usar un clasificador de conjunto?

En general, en un problema de clasificación donde el objetivo es predecir con precisión la pertenencia a una clase fuera de la muestra, ¿cuándo no debo usar un clasificador de conjunto? Esta pregunta está estrechamente relacionada con ¿Por qué no usar siempre el aprendizaje conjunto? . Esa pregunta pregunta por …

17 classification boosting ensemble bagging

1

¿Cuáles son las garantías teóricas de embolsado?

He (aproximadamente) escuchado que: El ensacado es una técnica para reducir la varianza de un algoritmo de predicción / estimador / aprendizaje. Sin embargo, nunca he visto una prueba matemática formal de esta afirmación. ¿Alguien sabe por qué esto es matemáticamente cierto? Simplemente parece ser un hecho tan ampliamente aceptado …

17 machine-learning mathematical-statistics bagging

1

Impulso y embolsado de árboles (XGBoost, LightGBM)

Hay muchas publicaciones de blog, videos de YouTube, etc. sobre las ideas de embolsar o impulsar árboles. Mi comprensión general es que el pseudocódigo para cada uno es: Harpillera: Tome N muestras aleatorias de x% de las muestras y y% de las características Ajuste su modelo (p. Ej., Árbol de …

17 cart boosting xgboost bagging

1

¿Qué método de comparación múltiple usar para un modelo lmer: lsmeans o glht?

Estoy analizando un conjunto de datos utilizando un modelo de efectos mixtos con un efecto fijo (condición) y dos efectos aleatorios (participante debido al diseño del sujeto y al par). El modelo se ha generado con el lme4paquete: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). A continuación, realicé una prueba de razón de probabilidad de este …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

¿Por qué la función de arranque scikit-learn vuelve a muestrear el conjunto de prueba?

Cuando utilicé bootstrapping para la evaluación del modelo, siempre pensé que las muestras fuera de bolsa se usaban directamente como un conjunto de prueba. Sin embargo, este no parece ser el caso del enfoque obsoleto de scikit-learnBootstrap , que parece construir el conjunto de prueba a partir del dibujo con …

15 cross-validation bootstrap random-forest scikit-learn bagging

1

¿Qué algoritmos de ensacado son dignos sucesores de Random Forest?

Para impulsar algoritmos, diría que evolucionaron bastante bien. A principios de 1995 se introdujo AdaBoost, luego de un tiempo fue Gradient Boosting Machine (GBM). Recientemente, alrededor de 2015 se introdujo XGBoost, que es preciso, maneja el sobreajuste y se ha convertido en un ganador de múltiples competencias de Kaggle. En …

14 random-forest boosting bagging

5

Bosque aleatorio y algoritmo de árbol de decisión

Un bosque aleatorio es una colección de árboles de decisión que siguen el concepto de ensacado. Cuando pasamos de un árbol de decisión al siguiente árbol de decisión, entonces, ¿cómo avanza la información aprendida por el último árbol de decisión al siguiente? Porque, según tengo entendido, no hay nada como …

14 machine-learning random-forest cart bagging

3

¿El bosque aleatorio y el refuerzo son paramétricos o no paramétricos?

Al leer el excelente modelo estadístico: Las dos culturas (Breiman 2001) , podemos aprovechar toda la diferencia entre los modelos estadísticos tradicionales (p. Ej., Regresión lineal) y los algoritmos de aprendizaje automático (p. Ej., Ensacado, bosque aleatorio, árboles potenciados ...). Breiman critica los modelos de datos (paramétricos) porque se basan …

13 machine-learning data-mining random-forest boosting bagging

1

¿Por qué no usar siempre el aprendizaje conjunto?

Me parece que el aprendizaje conjunto siempre dará un mejor rendimiento predictivo que con una sola hipótesis de aprendizaje. Entonces, ¿por qué no los usamos todo el tiempo? ¿Mi conjetura es quizás debido a limitaciones computacionales? (incluso entonces, usamos predictores débiles, así que no lo sé).

13 boosting ensemble bagging

2

¿Por qué un árbol en saco / árbol forestal aleatorio tiene mayor sesgo que un árbol de decisión único?

Si consideramos un árbol de decisión completamente desarrollado (es decir, un árbol de decisión no podado) tiene una alta varianza y un bajo sesgo. El ensacado y los bosques aleatorios usan estos modelos de alta varianza y los agregan para reducir la varianza y así mejorar la precisión de la …

11 variance random-forest cart bias bagging

1

Predicción probabilística forestal aleatoria vs voto mayoritario

Scikit learn parece utilizar la predicción probabilística en lugar del voto mayoritario para la técnica de agregación del modelo sin una explicación de por qué (1.9.2.1. Bosques aleatorios). ¿Hay una explicación clara de por qué? Además, ¿hay un buen artículo o artículo de revisión para las diversas técnicas de agregación …

10 random-forest python scikit-learn aggregation bagging

Preguntas etiquetadas con bagging