¿Cuál es la función Q y cuál es la función V en el aprendizaje por refuerzo?

Me parece que la función puede expresarse fácilmente por la función y, por lo tanto, la función parece superflua. Sin embargo, soy nuevo en el aprendizaje por refuerzo, así que supongo que algo está mal.$V$$Q$$V$

Definiciones

El aprendizaje Q y V está en el contexto de los procesos de decisión de Markov . Un MDP es una tupla de 5 con$(S, A, P, R, \gamma)$

• $S$ es un conjunto de estados (típicamente finito)
• $A$ es un conjunto de acciones (típicamente finito)
• $P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ es la probabilidad de pasar del estado al estado con la acción .$s$$s'$$a$
• $R(s, s', a) \in \mathbb{R}$ es la recompensa inmediata después de pasar del estado al estado con la acción . (Me parece que por lo general sólo materia).$s$$s'$$a$$s'$
• $\gamma \in [0, 1]$ se llama factor de descuento y determina si uno se enfoca en recompensas inmediatas ( ), la recompensa total ( ) o alguna compensación.$\gamma = 0$$\gamma = 1$

Una política$\pi$ , según Reinforcement Learning: An Introduction de Sutton and Barto es una función (esto podría ser probabilístico).$\pi: S \rightarrow A$

Según las diapositivas de Mario Martins , la función es y la función Q es $V$

$$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$$ $$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$$

Mis pensamientos

Los estados de función lo que el valor total esperado (no recompensa!) De un estado bajo la política de es.$V$$s$$\pi$

La función establece cuál es el valor de un estado una acción bajo la política .$Q$$s$$a$$\pi$

Esto significa,

$$Q^\pi(s, \pi(s)) = V^\pi(s)$$

¿Correcto? Entonces, ¿por qué tenemos la función de valor? (Supongo que mezclé algo)

Los valores Q son una excelente manera de hacer explícitas las acciones para que pueda lidiar con problemas donde la función de transición no está disponible (sin modelo). Sin embargo, cuando su espacio de acción es grande, las cosas no son tan agradables y los valores Q no son tan convenientes. Piense en una gran cantidad de acciones o incluso en espacios de acción continuos.

Desde una perspectiva de muestreo, la dimensionalidad de es mayor que por lo que podría ser más difícil obtener suficientes muestras en comparación con . Si tiene acceso a la función de transición, a veces es bueno.$Q(s, a)$$V(s)$$(s, a)$$(s)$$V$

También hay otros usos donde ambos se combinan. Por ejemplo, la función de ventaja donde . Si está interesado, puede encontrar un ejemplo reciente utilizando las funciones de ventaja aquí:$A(s, a) = Q(s, a) - V(s)$

Arquitecturas de red en duelo para el aprendizaje de refuerzo profundo

por Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot y Nando de Freitas.

$V^\pi(s)$ es la función de valor de estado de MDP (Markov Decision Process). Es el retorno esperado a partir de política del estado siguiente .$s$$\pi$

En la expresion

$$V^\pi(s) = E_\pi \{G_t | s_t = s\}$$

$G_t$ es la recompensa con DESCUENTO total del paso de tiempo , en oposición a que es un retorno inmediato. Aquí está tomando la expectativa de TODAS las acciones de acuerdo con la política .$t$$R_t$$\pi$

$Q^\pi(s, a)$s π a es la función de valor de acción. Es el retorno esperado a partir del estado , siguiendo la política , tomando medidas . Se está centrando en la acción particular en el estado particular.$s$$\pi$$a$

$$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$$

La relación entre y (el valor de estar en ese estado) es$Q^\pi$$V^\pi$

$$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$$

Sumas cada valor de acción multiplicado por la probabilidad de tomar esa acción (la política ).$\pi(a|s)$

Si piensa en el ejemplo del mundo de la cuadrícula, multiplique la probabilidad de (arriba / abajo / derecha / izquierda) con el valor de estado de un paso adelante de (arriba / abajo / derecha / izquierda).

Tienes razón, la función te da el valor de un estado y te da el valor de una acción en un estado (siguiendo una política dada ). Encontré la explicación más clara de Q-learning y cómo funciona en el libro de Tom Mitchell "Machine Learning" (1997), cap. 13, que es descargable. se define como la suma de una serie infinita, pero aquí no es importante. Lo que importa es que la función se define como$V$$Q$$\pi$$V$$Q$

$$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$$ donde V * es el mejor valor de un estado si pudieras seguir una política óptima que no No lo se. Sin embargo, tiene una buena caracterización en términos de computación se realiza reemplazando en la primera ecuación para dar $Q$ $$V^{*}(s)= \max_{a'} Q(s,a')$$ $Q$$V^*$ $$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$$

Esto puede parecer una recursión extraña al principio porque expresa el valor Q de una acción en el estado actual en términos del mejor valor Q de un estado sucesor , pero tiene sentido cuando observa cómo lo utiliza el proceso de copia de seguridad: la exploración el proceso se detiene cuando alcanza un estado objetivo y recoge la recompensa, que se convierte en el valor Q de esa transición final. Ahora, en un episodio de entrenamiento posterior, cuando el proceso de exploración alcanza ese estado predecesor, el proceso de respaldo utiliza la igualdad anterior para actualizar el valor Q actual del estado predecesor. La próxima vez esse visita al predecesor el valor Q de ese estado se actualiza, y así sucesivamente (el libro de Mitchell describe una forma más eficiente de hacerlo almacenando todos los cálculos y repitiéndolos más adelante). Siempre que se visite cada estado infinitamente, este proceso eventualmente calcula la Q óptima

A veces verá una tasa de aprendizaje aplicada para controlar cuánto Q realmente se actualiza: Aviso ahora que la actualización del valor de Q no depende del valor Q actual. El libro de Mitchell también explica por qué es eso y por qué necesita : es para MDP estocásticos. Sin , cada vez que se intentaba un estado, un par de acciones habría una recompensa diferente, por lo que la función Q ^ rebotaría por todo el lugar y no convergería. está ahí para que, como el nuevo conocimiento solo se acepte en parte.$\alpha$

$$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$$ $$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$$ $\alpha$$\alpha$$\alpha$$\alpha$se establece alto para que la corriente (en su mayoría valores aleatorios) de Q sea menos influyente disminuye a medida que avanza el entrenamiento, de modo que las nuevas actualizaciones tienen cada vez menos influencia, y ahora Q learning converge$\alpha$

Aquí hay una explicación más detallada de la relación entre el valor del estado y el valor de la acción en la respuesta de Aaron. Primero echemos un vistazo a las definiciones de función de valor y función de valor de acción en política : donde es el retorno en el tiempo . La relación entre estas dos funciones de valor se puede derivar como $\pi$

$$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$$ $G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$$t$ $$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$$ La ecuación anterior es importante. Describe la relación entre dos funciones fundamentales de valor en el aprendizaje por refuerzo. Es válido para cualquier política. Además, si tenemos una política determinista , entonces . Espero que esto te sirva de ayuda. (para ver más sobre la ecuación de optimización de Bellman https: //stats.stackexchange.$v_{\pi}(s)=q_{\pi}(s,\pi(s))$)

La función de valor es una formulación abstracta de utilidad. Y la función Q se usa para el algoritmo Q-learning.