¿Por qué no hay probabilidad de transición en Q-Learning (aprendizaje de refuerzo)?

En el aprendizaje por refuerzo, nuestro objetivo es optimizar la función de valor de estado o la función de valor de acción, que se definen de la siguiente manera:

$V^{\pi}_s = \sum p(s'|s,\pi(s))[r(s'|s,\pi(s))+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s]$

$Q^{\pi}(s,a) = \sum p(s'|s,s)[r(s'|s,a)+\gamma V^{\pi}(s')]=E_{\pi}[r(s'|s,a)+\gamma V^{\pi}(s')|s_0=s,a_0=a]$

Sin embargo, cuando usamos el método Q-learning para obtener la estrategia óptima, el método de actualización es el siguiente:

$Q(S,A) \leftarrow \ Q(S,A) + \alpha [R+\gamma max_a(Q(s',a)) -Q(S,A)]$

Mi pregunta es:

por qué en Q-learning no hay probabilidad de transición $p(s'|s,a)$ . ¿Significa que no necesitamos esta $p$ al modelar MDP?

reinforcement-learning q-learning

— Hokies
fuente

Respuestas:

Los algoritmos que no aprenden la función de probabilidad de transición de estado se denominan sin modelo . Uno de los principales problemas con los algoritmos basados en modelos es que a menudo hay muchos estados, y un modelo ingenuo es cuadrático en cuanto al número de estados. Eso impone un gran requerimiento de datos.

Q-learning no tiene modelos. No aprende una función de probabilidad de transición de estado.

— Neil G
fuente

Sin embargo, en MDP, siempre hay una probabilidad. Si no hay probabilidad de transición, significa que esto es contradictorio con el supuesto básico en el aprendizaje por refuerzo, ya que RL supone que el proceso es Markov.

— Hokies

@FzLbMj Por supuesto, las probabilidades de transición existen en algún lugar. El punto es, como dije, que no se aprenden .

— Neil G

@nbro Modelo basado significa aprender la dinámica del entorno. Aquí hay un modelo que hace eso: Kuvayev, D. y Richard S. Sutton. Aprendizaje basado en modelos de refuerzo. Tech. rept. universidad de massachusetts, departamento de ciencias de la computación, 1997. Como referencia, puede usar google scholar cuando no sabe algo.

— Neil G

Acabo de enviarle un documento que puede leer que tiene un algoritmo que aprende las probabilidades de transición. Ver sección 5.

— Neil G

@nbro Obviamente tenemos un desacuerdo sobre las definiciones, así que si quieres ser convincente, apoya tu afirmación con una referencia.

— Neil G

Para mayor claridad, creo que debería reemplazar con ya que solo hay una función de valor de acción, solo estamos evaluando Q en acciones en el siguiente estado. Esta notación también sugiere dónde se encuentra la . $max_a(Q', a)$ $max_a(Q(S', a))$ $p(s'|s, a)$

Intuitivamente, es una propiedad del medio ambiente. No controlamos cómo funciona, sino que simplemente tomamos muestras de él. Antes de llamar a esta actualización, primero tenemos que tomar una acción A mientras estamos en el estado S. El proceso de hacer esto nos da una recompensa y nos envía al siguiente estado. El siguiente estado en el que aterrizas se extrae de por definición. Entonces, en la actualización de Q-learning, esencialmente asumimos que es 1 porque allí es donde terminamos. $p(s'|s, a)$ $p(s'|s, a)$ $p(s'|s, a)$

Esto está bien porque es un método iterativo en el que estamos estimando la función óptima de valor de acción sin conocer la dinámica completa del entorno y más específicamente el valor de . Si tiene un modelo del entorno que le proporciona esta información, puede cambiar la actualización para incluirla simplemente cambiando el retorno a . $p(s|s', a)$ $\gamma p(S'|S, A)max_a(Q(S', a))$

— Alex
fuente

Muchas gracias por su respuesta. Entonces, cuando usamos Q-learning, simplemente asumimos que todas las acciones tienen la misma probabilidad. Por cierto, ¿tiene alguna idea sobre qué método ( SARSAo Q-learning) debe usar cuando se trata de diferentes situaciones? Gracias.

— Hokies

No asumimos que todas las acciones tienen la misma probabilidad. Suponemos que la función de transición es determinista para nuestro cálculo. Es decir, si realiza la misma acción desde el mismo estado, llegará al mismo estado siguiente. Para Sarsa vs Q-learning, mira aquí: stackoverflow.com/questions/6848828/…

— Alex

Además de lo anterior, Q-Learning es un algoritmo sin modelo , lo que significa que nuestro agente solo conoce los estados que le da el entorno. En otras palabras, si un agente selecciona y realiza una acción, el siguiente estado solo lo determina el entorno y se lo da al agente. Por esa razón, el agente no piensa en las probabilidades de transición de estado.

— mustafamuratcoskun
fuente