Aprendizaje profundo versus árboles de decisión y métodos de impulso

18

Estoy buscando documentos o textos que comparen y discutan (ya sea empírica o teóricamente):

Algoritmos de impulso y árboles de decisión como Random Forests o AdaBoost , y GentleBoost aplicado a los árboles de decisión.

con

Métodos de aprendizaje profundo como máquinas de Boltzmann restringidas , memoria temporal jerárquica , redes neuronales convolucionales , etc.

Más específicamente, ¿alguien sabe de un texto que discuta o compare estos dos bloques de métodos de ML en términos de velocidad, precisión o convergencia? Además, estoy buscando textos que expliquen o resuman las diferencias (por ejemplo, pros y contras) entre los modelos o métodos en el segundo bloque.

Cualquier sugerencia o respuesta que aborde tales comparaciones directamente sería muy apreciada.

— Amelio Vazquez-Reina
fuente

1

¿Puede ser más específico sobre los tipos de datos que está viendo? En parte, esto determinará qué tipo de algoritmo convergerá más rápido.

Tampoco estoy seguro de cómo comparar métodos como aumentar y DL, ya que aumentar es realmente solo una colección de métodos. ¿Qué otros algoritmos estás usando con el impulso?

En general, las técnicas DL se pueden describir como capas de codificadores / decodificadores. El entrenamiento previo sin supervisión funciona al entrenar primero cada capa codificando la señal, decodificando la señal y luego midiendo el error de reconstrucción. El ajuste se puede usar para obtener un mejor rendimiento (por ejemplo, si usa autoencoders apilados de eliminación de ruido puede usar propagación hacia atrás).

Un buen punto de partida para la teoría DL es:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

así como estos:

http://portal.acm.org/citation.cfm?id=1756025

(lo siento, tuve que eliminar el último enlace debido al sistema de filtración de SPAM)

No incluí ninguna información sobre RBM, pero están estrechamente relacionadas (aunque personalmente un poco más difícil de entender al principio).

— usuario5268
fuente

Gracias @f (x), estoy interesado en la clasificación de segmentos o parches de píxeles (2D o 3D), pero quería mantener la pregunta original lo más general posible. Si diferentes métodos funcionan mejor en diferentes tipos de conjuntos de datos, me interesaría una discusión que aborde estas diferencias.

— Amelio Vazquez-Reina

1

Generalmente en términos de procesamiento de imágenes, los métodos DL actuarán como extractores de características que luego se pueden combinar con SVM para hacer la clasificación. Estos métodos son generalmente comparables a los enfoques de ingeniería manual como SIFT, SURF y HOG. Los métodos DL se han extendido a video con CRBM cerrados e ISA. Los métodos diseñados a mano incluyen HOG / HOF, HOG3d y eSURF (ver Wang et al. 2009 para una buena comparación).

— user5268

1

Gran pregunta! Tanto el refuerzo adaptativo como el aprendizaje profundo pueden clasificarse como redes de aprendizaje probabilístico. La diferencia es que el "aprendizaje profundo" involucra específicamente una o más "redes neuronales", mientras que "impulsar" es un "algoritmo de metaaprendizaje" que requiere una o más redes de aprendizaje, llamadas estudiantes débiles, que pueden ser "cualquier cosa" (es decir red neuronal, árbol de decisión, etc.). El algoritmo de refuerzo toma una o más de sus redes de alumnos débiles para formar lo que se llama un "alumno fuerte", que puede "impulsar" significativamente los resultados generales de las redes de aprendizaje (es decir, el Detector de Rostros Viola y Jones de Microsoft, OpenCV).

— SensorVista
fuente