¿Qué es la "reproducción de experiencia" y cuáles son sus beneficios?

He estado leyendo DeepMind Atari de Google de papel y yo estoy tratando de entender el concepto de "experiencia de repetición". La repetición de la experiencia aparece en muchos otros documentos de aprendizaje de refuerzo (en particular, el documento AlphaGo), por lo que quiero entender cómo funciona. A continuación se presentan algunos extractos.

Primero, utilizamos un mecanismo inspirado biológicamente denominado repetición de experiencia que aleatoriza los datos, eliminando así las correlaciones en la secuencia de observación y suavizando los cambios en la distribución de datos.

El documento luego elabora de la siguiente manera:

Si bien existen otros métodos estables para entrenar redes neuronales en el entorno de aprendizaje de refuerzo, como la iteración Q ajustada neural, estos métodos implican el entrenamiento repetido de redes de novo cientos de iteraciones. En consecuencia, estos métodos, a diferencia de nuestro algoritmo, son demasiado ineficientes para ser utilizados con éxito con grandes redes neuronales. Parametrizamos una función de valor aproximado utilizando la red neuronal convolucional profunda que se muestra en la figura 1, en la que son los parámetros (es decir, pesos) de la red Q en la iteración . Para realizar la repetición de la experiencia, almacenamos las experiencias del agente en cada paso de tiempo t$Q(s, a; \theta_i)$$\theta_i$$i$$e_t = (s_t, a_t, r_t, s_{t+1})$$t$en un conjunto de datos $D_t = \{e_1, \dots, e_t \}$ . Durante el aprendizaje, aplicamos actualizaciones de Q-learning, en muestras (o mini lotes) de experiencia $(s, a, r, s') \sim U(D)$ , extraídas uniformemente al azar del conjunto de muestras almacenadas. La actualización de Q-learning en la iteración $i$ utiliza la siguiente función de pérdida:

$$L_i(\theta_i) = \mathbb{E}_{(s, a, r, s') \sim U(D)} \left[ \left(r + \gamma \max_{a'} Q(s', a'; \theta_i^-) - Q(s, a; \theta_i)\right)^2 \right]$$

¿Qué es la repetición de la experiencia y cuáles son sus beneficios, en términos simples?

La parte clave del texto citado es:

Para realizar la repetición de la experiencia, almacenamos las experiencias del agente $e_t = (s_t,a_t,r_t,s_{t+1})$

Esto significa que, en lugar de ejecutar Q-learning en pares de estado / acción a medida que ocurren durante la simulación o la experiencia real, el sistema almacena los datos descubiertos para [estado, acción, recompensa, estado siguiente], generalmente en una tabla grande. Tenga en cuenta que esto no almacena valores asociados: estos son los datos sin procesar para alimentar los cálculos de valores de acción más adelante.

La fase de aprendizaje se separa lógicamente de la experiencia adquirida y se basa en tomar muestras aleatorias de esta tabla. Todavía desea intercalar los dos procesos, actuar y aprender, porque mejorar la política conducirá a un comportamiento diferente que debería explorar acciones más cercanas a las óptimas, y desea aprender de ellas. Sin embargo, puede dividir esto como desee, por ejemplo, dar un paso, aprender de tres pasos anteriores aleatorios, etc. Los objetivos de Q-Learning al usar la repetición de experiencia usan los mismos objetivos que la versión en línea, por lo que no hay una nueva fórmula para eso. La fórmula de pérdida dada también es la que usaría para DQN sin repetición de experiencia. La diferencia es solo qué s, a, r, s ', a' alimentas.

En DQN, el equipo de DeepMind también mantuvo dos redes y cambió cuál estaba aprendiendo y cuál se alimentaba en las estimaciones actuales del valor de acción como "bootstraps". Esto ayudó con la estabilidad del algoritmo cuando se usa un aproximador de función no lineal. Eso es lo que representa la barra en - denota la versión alternativa congelada de los pesos.${\theta}^{\overline{\space}}_i$

Ventajas de la repetición de experiencia:

• Uso más eficiente de la experiencia previa, al aprender con ella varias veces. Esto es clave cuando obtener experiencia en el mundo real es costoso, puede aprovecharlo al máximo. Las actualizaciones de Q-learning son incrementales y no convergen rápidamente, por lo que múltiples pases con los mismos datos son beneficiosos, especialmente cuando hay una baja variación en los resultados inmediatos (recompensa, siguiente estado) dado el mismo estado, par de acciones.

• Mejor comportamiento de convergencia al entrenar un aproximador de funciones. En parte, esto se debe a que los datos son más como iid datos asumidos en la mayoría de las pruebas de convergencia de aprendizaje supervisado.

Desventaja de la experiencia de repetición:

• Es más difícil usar algoritmos de aprendizaje de varios pasos, como Q ( ), que se puede ajustar para proporcionar mejores curvas de aprendizaje al equilibrar el sesgo (debido al arranque) y la varianza (debido a retrasos y aleatoriedad en los resultados a largo plazo) ) DQN de varios pasos con repetición de experiencia DQN es una de las extensiones exploradas en el artículo Rainbow: Combinar mejoras en el aprendizaje de refuerzo profundo .$\lambda$

David Silver describe brevemente el enfoque utilizado en DQN en partes de esta video conferencia (alrededor de las 01:17:00, pero vale la pena ver las secciones anteriores). Recomiendo ver toda la serie, que es un curso de posgrado sobre aprendizaje de refuerzo, si tiene tiempo.