En realidad, se reduce a una de las técnicas "3B": embolsado, refuerzo o mezcla.
En el ensacado, entrena muchos clasificadores en diferentes subconjuntos de objetos y combina respuestas por promedio para regresión y votación para clasificación (hay algunas otras opciones para situaciones más complejas, pero lo omitiré). La proporción / varianza de voto puede interpretarse como una aproximación de error, ya que los clasificadores individuales generalmente se consideran independientes. RF es, de hecho, un conjunto de ensacado.
Impulsar es una familia más amplia de métodos, sin embargo, su punto principal es que construye el siguiente clasificador sobre los residuos del primero, de esta manera (en teoría) aumenta gradualmente la precisión al resaltar interacciones cada vez más sutiles. Por lo tanto, las predicciones generalmente se combinan resumiéndolas, algo así como calcular el valor de una función en x sumando los valores de los elementos de su serie Taylor para x.
Las versiones más populares son (Stochastic) Gradient Boosting (con una buena base matemática) y AdaBoost (bien conocido, de hecho, un caso específico de GB). Desde una perspectiva holística, el árbol de decisión es un impulso de clasificadores de pivote triviales.
La combinación es una idea de anidar clasificadores, es decir, ejecutar un clasificador en un sistema de información hecho de predicciones de otros clasificadores. Como tal, es un método muy variable y ciertamente no es un algoritmo definido; puede requerir muchos objetos (en la mayoría de los casos, el clasificador "licuadora" debe estar entrenado en un conjunto de objetos que no se utilizaron para construir los clasificadores parciales para evitar un ajuste excesivo embarazoso).
Obviamente, las predicciones de los clasificadores parciales se combinan fusionándolas en un sistema de información que predice el mezclador.