Estoy tratando de entender las diferencias entre GBM y Adaboost.

Esto es lo que he entendido hasta ahora:

• Hay dos algoritmos de refuerzo, que aprenden de los errores del modelo anterior y finalmente hacen una suma ponderada de los modelos.
• GBM y Adaboost son bastante similares, excepto por sus funciones de pérdida.

Pero aún así es difícil para mí captar una idea de las diferencias entre ellos. ¿Alguien puede darme explicaciones intuitivas?

Encontré que esta introducción puede proporcionar algunas explicaciones intuitivas.

• En Gradient Boosting, las 'deficiencias' (de los alumnos débiles existentes) se identifican por gradientes .
• En Adaboost, las "deficiencias" se identifican mediante puntos de datos de alto peso .

En mi opinión, la pérdida exponencial de Adaboost da más pesos para las muestras peor ajustadas. De todos modos, Adaboost es considerado como un caso especial de aumento de gradiente en términos de función de pérdida, como se muestra en la historia de aumento de gradiente proporcionada en la introducción.

1. Inventar Adaboost, el primer algoritmo de refuerzo exitoso [Freund et al., 1996, Freund y Schapire, 1997]
2. Formule Adaboost como pendiente descendente con una función de pérdida especial [Breiman et al., 1998, Breiman, 1999]
3. Generalice Adaboost a Gradient Boosting para manejar una variedad de funciones de pérdida [Friedman et al., 2000, Friedman, 2001]

Una explicación intuitiva del algoritmo AdaBoost.

Permítanme construir sobre la excelente respuesta de @ Randel con una ilustración del siguiente punto

---

• En Adaboost, las "deficiencias" se identifican mediante puntos de datos de gran peso.

Resumen de AdaBoost

$G_m(x) \ m = 1,2,...,M$

$$G(x) = \text{sign} \left( \alpha_1 G_1(x) + \alpha_2 G_2(x) + ... \alpha_M G_M(x)\right) = \text{sign} \left( \sum_{m = 1}^M \alpha_m G_m(x)\right)$$

• La predicción final es una combinación de las predicciones de todos los clasificadores mediante un voto mayoritario ponderado.

• $\alpha_m$$G_m(x)$

• $w_1, w_2,...,w_N$$m$
• $m=1$$w_i = 1 / N$

AdaBoost en un ejemplo de juguete

$M = 10$

Visualizar la secuencia de alumnos débiles y los pesos de muestra.

$m = 1,2...,6$

Primera iteración:

• El límite de decisión es muy simple (lineal) ya que estos son aprendices wea
• Todos los puntos son del mismo tamaño, como se esperaba
• 6 puntos azules están en la región roja y están mal clasificados

Segunda iteración:

• El límite de decisión lineal ha cambiado
• Los puntos azules previamente mal clasificados ahora son más grandes (mayor muestra_peso) y han influido en el límite de decisión
• 9 puntos azules ahora están mal clasificados

Resultado final después de 10 iteraciones.

$\alpha_m$

([1.041, 0.875, 0.837, 0.781, 1.04, 0.938 ...

Como se esperaba, la primera iteración tiene el coeficiente más grande, ya que es la que tiene menos clasificaciones erróneas.

Próximos pasos

Una explicación intuitiva del aumento de gradiente - para completar

Fuentes y lecturas adicionales:

• código de Python y figuras originales aquí
• https://www.cs.cmu.edu/~aarti/Class/10701/slides/Lecture10.pdf