¿Dónde y por qué brilla el aprendizaje profundo?

Con todos los medios de comunicación y exageraciones sobre el aprendizaje profundo en estos días, leí algunas cosas elementales al respecto. Acabo de descubrir que es solo otro método de aprendizaje automático para aprender patrones a partir de datos. Pero mi pregunta es: ¿dónde brilla y por qué brilla este método? ¿Por qué se habla tanto de eso ahora? ¿De qué se trata todo este alboroto?

— Jack Twain
fuente

Mire las conferencias cualitativas de YouTube de Geoff Hinton y Andrew Ng para obtener una descripción general sencilla de por qué es tan bueno.

— Jase

Respuestas:

Los principales beneficios supuestos:

(1) No es necesario realizar funciones de ingeniería manual para problemas de aprendizaje no lineales (ahorre tiempo y se pueda ampliar al futuro, ya que algunos consideran que la ingeniería manual es una curita a corto plazo)

(2) Las características aprendidas a veces son mejores que las mejores características diseñadas a mano, y pueden ser tan complejas (visión por computadora, por ejemplo, características de cara) que tomaría demasiado tiempo humano diseñarlas.

(3) Puede usar datos sin etiquetar para entrenar previamente la red. Supongamos que tenemos 1000000 imágenes sin etiquetar y 1000 imágenes etiquetadas. Ahora podemos mejorar drásticamente un algoritmo de aprendizaje supervisado mediante la capacitación previa en las imágenes no etiquetadas 1000000 con aprendizaje profundo. Además, en algunos dominios tenemos tantos datos sin etiquetar, pero los datos etiquetados son difíciles de encontrar. Un algoritmo que puede usar estos datos sin etiquetar para mejorar la clasificación es valioso.

(4) Empíricamente, rompió muchos puntos de referencia que solo veían mejoras incrementales hasta la introducción de métodos de aprendizaje profundo.

(5) El mismo algoritmo funciona en múltiples áreas con entradas sin procesar (quizás con preprocesamiento menor).

(6) Sigue mejorando a medida que se envían más datos a la red (suponiendo distribuciones estacionarias, etc.).

— Jase
fuente

Otro punto importante además de lo anterior (no tengo suficiente representante para agregarlo simplemente como comentario) es que es un modelo generativo (Redes de creencias profundas al menos) y, por lo tanto, puede tomar muestras de las distribuciones aprendidas; esto puede tiene algunos beneficios importantes en ciertas aplicaciones en las que desea generar datos sintéticos correspondientes a las clases / clústeres aprendidos.

— Alex McMurray
fuente

Esta no es una propiedad general del aprendizaje profundo, sino del modelo concreto en cuestión. Por ejemplo, puede tomar muestras de un gaussiano pero no de una regresión logística. También puedes tomar muestras de una variedad de modelos de aprendizaje profundo, por ejemplo, redes de creencias profundas como dijiste, máquinas de Boltzmann profundas, modelos gaussianos latentes profundos, etc. aplicaciones.

— bayerj

... ¿Por qué no puedes tomar muestras de una regresión logística?

— Hong Ooi

p (c | x)

$p(c|x)$

Pero lo mismo vale para un modelo de regresión gaussiano, si con eso quieres decir regresión lineal básica.

— Hong Ooi