El impulso generalmente puede entenderse como votación (ponderada)
En el caso de impulsar, uno de sus inventores da una respuesta afirmativa en esta introducción a AdaBoost (énfasis mío):
La hipótesis final o combinada calcula el signo de una combinación ponderada de hipótesis débiles
Esto es equivalente a decir que se calcula como un voto mayoritario ponderado de las hipótesis débiles donde cada uno tiene asignado peso . (En este capítulo, usamos los términos "hipótesis" y "clasificador" indistintamente).H
F(x)=∑t=1Tαtht(x)
H htαt
Entonces, sí, el modelo final devuelto es un voto ponderado de todos los estudiantes débiles capacitados para esa iteración. Del mismo modo, encontrará este fragmento en Wikipedia sobre el impulso en general:
Si bien el refuerzo no está limitado algorítmicamente, la mayoría de los algoritmos de refuerzo consisten en aprender iterativamente clasificadores débiles con respecto a una distribución y agregarlos a un clasificador fuerte final. Cuando se agregan, generalmente se ponderan de alguna manera que generalmente está relacionada con la precisión de los alumnos débiles.
También tenga en cuenta la mención de que los algoritmos de refuerzo originales utilizaban una "mayoría". La noción de votación está bastante arraigada en el impulso: su principio rector es mejorar un conjunto en cada iteración agregando un nuevo votante y luego decidir cuánto peso dar a cada voto.
Esta misma intuición conlleva el ejemplo del aumento de gradiente : en cada iteración encontramos un nuevo alumno ajustado a pseudo-residuales, luego optimizamos para decidir cuánto peso dar "voto" de .mhmγmhm
La extensión a todos los métodos de conjunto se ejecuta en contraejemplos
Tal como están las cosas, algunos encontrarían que incluso la noción de ponderación estira la metáfora de la votación. Al considerar si extender esta intuición a todos los métodos de aprendizaje en conjunto , considere este fragmento:
Los conjuntos combinan múltiples hipótesis para formar una (con suerte) mejor hipótesis. El término conjunto generalmente se reserva para métodos que generan múltiples hipótesis utilizando el mismo alumno base.
Y este sobre el ejemplo de método de apilamiento :
El apilamiento (a veces llamado generalización apilada) implica entrenar un algoritmo de aprendizaje para combinar las predicciones de varios otros algoritmos de aprendizaje. Primero, todos los otros algoritmos se entrenan con los datos disponibles, luego se entrena un algoritmo combinador para hacer una predicción final usando todas las predicciones de los otros algoritmos como entradas adicionales. Si se usa un algoritmo combinador arbitrario, el apilamiento puede representar teóricamente cualquiera de las técnicas de conjunto descritas en este artículo, aunque en la práctica, a menudo se usa un modelo de regresión logística de capa única como combinador.
Si está definiendo métodos de conjunto para incluir métodos de apilamiento con un combinador arbitrario, puede construir métodos que, en mi opinión, extiendan la noción de votar más allá de su límite. Es difícil ver cómo una colección de estudiantes débiles combinados a través de un árbol de decisión o una red neuronal puede verse como "votación". (Dejando de lado la también difícil pregunta de cuándo ese método podría resultar prácticamente útil).
Algunas introducciones describen conjuntos y votación como sinónimos; No estoy lo suficientemente familiarizado con la literatura reciente sobre estos métodos para decir cómo se aplican estos términos en general recientemente, pero espero que esta respuesta dé una idea de hasta dónde se extiende la noción de votación.