Bosque aleatorio vs Adaboost

En la sección 7 del documento Random Forests (Breiman, 1999), el autor declara la siguiente conjetura: "Adaboost es un bosque aleatorio".

¿Alguien ha probado o refutado esto? ¿Qué se ha hecho para probar o refutar esta publicación de 1999?

machine-learning random-forest boosting

— Alex
fuente

Lea stats.stackexchange.com/questions/77018/… Tal vez encuentre su respuesta allí

@ user75008 ¡Gracias! Entonces, la sección 7 proporciona otra conjetura, de modo que si se prueba, muestra que adaboost es equivalente a bosque aleatorio. ¿Alguien ha demostrado que esta conjetura es cierta?

— Alex

@ user75008 Estoy leyendo su enlace, stats.stackexchange.com/questions/77018/… , ¿cree que sugiere que Adaboost no es equivalente a Random Forest?

— Alex

Interesante pregunta. Desde entonces, se ha trabajado mucho para explicar el impulso de ada a través de algunas tácticas diferentes.

Hice una búsqueda rápida en la literatura y este artículo un tanto extraño parece ser el más reciente sobre el tema y también revisa un montón de trabajos intercedentes de Brieman y otros:

http://arxiv.org/pdf/1212.1108.pdf

No tengo idea de si sus resultados son válidos, pero afirman que no han podido probar la conjetura de Brieman, sino que han demostrado una versión debilitada de la misma, afirmando que adaboost es preservar la medida, pero no necesariamente ergódico.

También presentan alguna evidencia empírica de que adaboost de hecho a veces se sobreajusta.

Creo que eso sugiere que adaboost puede estar relacionado con un bosque aleatorio pero no del todo (o no siempre) equivalente en la forma en que Brieman conjeturó?

— Ryan Bressler
fuente

gracias, así que supongo que todavía es una pregunta abierta, pero su última declaración es reveladora.

— Alex

Sí, creo que todavía está abierto. También creo que el interés ha disminuido en el análisis de AdaBoost a medida que las máquinas de aumento de gradiente [estocásticas] se han vuelto más populares. AdaBoost es una forma de descenso de gradiente ( en.wikipedia.org/wiki/AdaBoost#Boosting_as_Gradient_Descent ) y pensar en términos de descenso de gradiente explícitamente aleatorio puede ser más intuitivo y más práctico que la equivalencia propuesta por Brieman. (Es decir, incluso si fuera cierto, podría ser realmente difícil tomar muestras de la distribución necesaria en la práctica.)

— Ryan Bressler

Acabo de ver este nuevo artículo sobre el tema: arxiv.org/pdf/1504.07676v1.pdf

— Ryan Bressler

Muy interesante si es verdad! "Llegamos a la conclusión de que el impulso debe usarse como bosques aleatorios: con grandes árboles de decisión y sin regularización directa o detención anticipada".

— Alex