Uso del aprendizaje profundo para la predicción de series temporales

Soy nuevo en el área de aprendizaje profundo y para mí el primer paso fue leer artículos interesantes del sitio deeplearning.net. En artículos sobre aprendizaje profundo, Hinton y otros hablan principalmente de aplicarlo a problemas de imagen. ¿Puede alguien intentar responderme? ¿Se puede aplicar al problema de predecir valores de series temporales (financiero, tráfico de Internet, ...) y cuáles son las cosas importantes en las que debería centrarme si es posible?

Se ha trabajado en la adaptación de métodos de aprendizaje profundo para datos secuenciales. Gran parte de este trabajo se ha centrado en el desarrollo de "módulos" que pueden apilarse de forma análoga al apilamiento de máquinas de Boltzmann restringidas (RBM) o autoencoders para formar una red neuronal profunda. Destacaré algunos a continuación:

• RBM condicionales : probablemente una de las aplicaciones más exitosas de aprendizaje profundo para series temporales. Taylor desarrolla un modelo similar a RBM que agrega interacciones temporales entre unidades visibles y lo aplica a los datos de captura de movimiento de modelado. Esencialmente terminas con algo así como un sistema dinámico lineal con algo de no linealidad agregada por las unidades ocultas.
• RBM temporales : en su tesis (sección 3) Ilya Sutskever desarrolla varios modelos similares a RBM con interacciones temporales entre unidades. También presenta algunos resultados interesantes que muestran que el entrenamiento de redes neuronales recurrentes con SGD puede funcionar tan bien o mejor que los métodos más complejos, como el algoritmo sin arpillera de Martens, utilizando una buena inicialización y una ecuación ligeramente modificada para el impulso.
• Codificadores automáticos recursivos : Por último, mencionaré el trabajo de Richard Socher sobre el uso de codificadores automáticos recursivos para el análisis. Aunque esto no es una serie temporal, definitivamente está relacionado.

Sí, el aprendizaje profundo se puede aplicar para predicciones de series de tiempo. De hecho, ya se ha hecho muchas veces, por ejemplo:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Este no es realmente un "caso especial", el aprendizaje profundo se trata principalmente del método de preprocesamiento (basado en el modelo generativo), por lo que debe centrarse exactamente en las mismas cosas en las que se enfoca cuando hace el aprendizaje profundo en "sentido tradicional" en uno mano, y las mismas cosas en las que te enfocas mientras realizas predicciones de series de tiempo sin aprendizaje profundo.

Las redes neuronales recurrentes se consideran un tipo de aprendizaje profundo (DL). Creo que son la herramienta DL más popular para el aprendizaje de secuencia a secuencia (1d). Actualmente son la base de los enfoques de Traducción Neural Automática (NMT) (pioneros en 2014 en LISA (UdeM), Google y probablemente un par de otros que no recuerdo).

Las secuencias generadoras de Alex Graves con redes neuronales recurrentes utilizan redes recurrentes y celdas de memoria a largo plazo para predecir el texto y realizar síntesis de escritura a mano.

Andrej Karpathy ha escrito un blog sobre la generación de secuencias de nivel de personaje desde cero. Utiliza RNN en su tutorial.

Para ver más ejemplos, debe mirar: Hochreiter, S. y Schmidhuber, J. (1997). Memoria a largo plazo a largo plazo. Cálculo neuronal, 9 (8), 1735-1780.

Tal vez esto ayude:

• I. Sutskever, O. Vinyals, y QV V Le, "Secuencia para secuenciar el aprendizaje con redes neuronales", en Advances in Neural Information Processing Systems, 2014, pp. 3104–3112.

Si tiene una definición para su ventana de tiempo exacta en los datos, como oraciones en este documento o párrafos, entonces estará bien con el uso de LSTM, pero no estoy seguro de cómo encontrar la ventana de tiempo que no sea obvia y tenga más en cuenta el contexto. Un ejemplo de esto puede ser cuántos de los datos de registro que está viendo están relacionados y eso no es algo obvio.