¿Por qué la línea de base está condicionada al estado en algún momento imparcial?

En robótica, la técnica de aprendizaje de refuerzo se utiliza para encontrar el patrón de control de un robot. Desafortunadamente, la mayoría de los métodos de gradiente de políticas están sesgados estadísticamente, lo que podría llevar al robot a una situación insegura, consulte la página 2 en Jan Peters y Stefan Schaal: aprendizaje de refuerzo de habilidades motoras con gradientes de políticas, 2008

Con el aprendizaje motor primitivo, es posible superar el problema porque la optimización de parámetros de gradiente de política dirige los pasos de aprendizaje hacia la meta.

cita: "Si la estimación del gradiente es imparcial y las tasas de aprendizaje cumplen la suma (a) = 0, se garantiza que el proceso de aprendizaje converge al menos a un mínimo local [...] Por lo tanto, necesitamos estimar el gradiente de la política solo a partir de los datos generados durante la ejecución de una tarea. ”(Página 4 del mismo documento)

En la tarea para el problema 1 de la clase RL de Berkeley , le pide que demuestre que el gradiente de la política sigue siendo imparcial si la línea base restada es una función del estado en el paso de tiempo t.

▽_{θ} \sum_{t = 1}^{T} E_{(s_{t}, a_{t}) \sim p (s_{t}, a_{t})} [b (s_{t})] = 0

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = 0$

Estoy luchando sobre cuál podría ser el primer paso de tal prueba. ¿Alguien me puede apuntar en la dirección correcta? Mi pensamiento inicial fue utilizar de alguna manera la ley de la expectativa total para condicionar la expectativa de b (st) a T, pero no estoy seguro. Gracias por adelantado :)

_{enlace al png original de la ecuación}

reinforcement-learning

— Laura C
fuente

Bienvenido a SE: AI! (Me tomé la libertad de convertir la ecuación a MathJax. El .png original está vinculado en la parte inferior).

— DukeZhou

Realmente no tengo mucho tiempo para escribir las ecuaciones exactas y formatearlo (tal vez más tarde si aún no se responde) con LaTeX, pero aquí hay una pista. Desea tener que la suma no depende de la política, por lo que la derivada sería 0. Entonces, de alguna manera, intenta expresar las cosas usando la política p (s, a). La respuesta por cierto también se puede encontrar en el libro de introducción de RL de Sutton en el capítulo de gradiente de políticas.

— Hai Nguyen

¡Muchas gracias! Usaré esa pista para comenzar, así como gracias por decirme que está en Sutton RL. ¡Estoy leyendo ese libro y es excelente!

— Laura C

@LauraC si encuentra la respuesta antes que nadie, por favor regrese y publique como respuesta formal aquí (a la gente definitivamente le gusta esta pregunta :)

— DukeZhou

He agregado información de contexto para la pregunta.

— Manuel Rodríguez

Respuestas:

Usando la ley de expectativas iteradas uno tiene:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

escrito con integrales y moviendo el gradiente dentro (linealidad) obtienes

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

$\nabla_\theta$ $b(s_t)$ $a_t$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ $a_t$ $s_t$ $1$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

$\nabla_\theta1 = 0$

— Andrei Poehlmann
fuente

Parece que la tarea debía entregarse dos días antes de la redacción de esta respuesta, pero en caso de que aún sea relevante de alguna manera, las notas relevantes de la clase (que habrían sido útiles si se hubieran proporcionado en la pregunta junto con la tarea) están aquí .

$\mathbb{E}_{\tau \sim p \theta(\tau)}$

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

$\pi_\theta(a_t|s_t)$

Este ejercicio es una preparación para el próximo paso en la tarea y se basa únicamente en la revisión de CS189, el curso de Introducción al aprendizaje automático de Burkeley, que no contiene la Ley de Expectativa Total en su programa o notas de clase.

Toda la información relevante está en el enlace de arriba para las notas de clase y solo requiere álgebra intermedia.

— Douglas Daseeco
fuente