Derivando la ecuación de Bellman en el aprendizaje por refuerzo

Veo la siguiente ecuación en " En aprendizaje por refuerzo. Una introducción ", pero no sigo el paso que he resaltado en azul a continuación. ¿Cómo se deriva exactamente este paso?

Esta es la respuesta para todos los que se preguntan sobre las matemáticas limpias y estructuradas que hay detrás (es decir, si perteneces al grupo de personas que sabe qué es una variable aleatoria y que debes mostrar o asumir que una variable aleatoria tiene una densidad, entonces esto es la respuesta para ti ;-)):

En primer lugar, debemos tener que el Proceso de decisión de Markov solo tiene un número finito de recompensas , es decir, necesitamos que exista un conjunto finito de densidades, cada una de las cuales pertenece a las variables , es decir, para todas las y un mapa tal que (es decir, en los autómatas detrás del MDP, puede haber infinitos estados, pero solo finitamente hay muchas distribuciones de recompensas asociadas a las posibles transiciones infinitas entre los estados)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Teorema 1 : Sea (es decir, una variable aleatoria real integrable) y sea otra variable aleatoria tal que tengan una densidad común y luego $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Prueba : esencialmente probado aquí por Stefan Hansen.

Teorema 2 : Sea y sea otras variables aleatorias tales que tienen una densidad común y luego donde es la gama de .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Prueba :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Ponga y ponga entonces se puede mostrar (usando el hecho de que el MDP solo tiene muchas -rewards) que converge y que desde la funcióntodavía está en (es decir, integrable) también se puede demostrar (mediante el uso de la combinación habitual de los teoremas de la convergencia monótona y luego la convergencia dominada en las ecuaciones definitorias para [las factorizaciones de] la expectativa condicional) que Ahora uno muestra que $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ G ( K ) t = R t + γ G ( K - 1 ) t + 1 E [ G ( K - 1 ) t + 1 usando , Thm. 2 arriba entonces Thm. 1 en y luego usando una guerra de marginación directa, uno muestra que para todos . Ahora necesitamos aplicar el límite a ambos lados de la ecuación. Para llevar el límite a la integral sobre el espacio de estado necesitamos hacer algunas suposiciones adicionales:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

O el espacio de estado es finito (entonces y la suma es finita) o todas las recompensas son todas positivas (entonces usamos convergencia monótona) o todas las recompensas son negativas (luego ponemos un signo menos delante del ecuación y usar convergencia monótona de nuevo) o todas las recompensas están limitadas (entonces usamos convergencia dominada) Luego (aplicando a ambos lados de la ecuación de Bellman parcial / finita anterior) obtenemos$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

y luego el resto es la manipulación habitual de la densidad.

OBSERVACIÓN: ¡Incluso en tareas muy simples, el espacio de estado puede ser infinito! Un ejemplo sería la tarea de "equilibrar un poste". El estado es esencialmente el ángulo del polo (un valor en , ¡un conjunto infinitamente incontable!)$[0, 2\pi)$

OBSERVACIÓN: La gente podría comentar 'masa, esta prueba se puede acortar mucho más si solo usa la densidad de directamente y muestra que '... PERO ... mis preguntas serían:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. ¿Cómo es que incluso sabes que tiene una densidad?$G_{t+1}$
2. ¿Cómo es que incluso sabes que tiene una densidad común junto con ?$G_{t+1}$$S_{t+1}, S_t$
3. ¿Cómo deduce que ? Esta no es solo la propiedad de Markov: la propiedad de Markov solo le dice algo acerca de las distribuciones marginales, pero estas no necesariamente determinan la distribución completa, vea, por ejemplo, ¡gaussianos multivariados!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Sea la suma total de las recompensas con descuento después del tiempo : G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

El valor de utilidad de comenzar en el estado, en el tiempo, es equivalente a la suma esperada de recompensas con descuento de ejecutar la política partir del estado adelante. Por definición de Por ley de linealidad Por ley det R π s U π ( S t = s ) = E π [ G t | S t = s $s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
G t = E π [ ( R t + 1 + γ ( R t + 2 + γ R t + 3 + . . $\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
= E π [ ( R t + 1 + γ ( G t + 1 ) ) | S t = s ] = E π [ R t + 1 | S t = s ] + γ E π [ G t + 1 | S t = s $= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
= E π [ R t + 1 | S t = s ] + γ E π [ $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Expectativa total Por definición de Por ley de linealidad
U π = E π [ R t + 1 + γ U π ( S t + 1 = s ′ ) | S t = s $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Suponiendo que el proceso satisface la propiedad de Markov:
Probabilidad de terminar en el estado habiendo comenzado desde el estado tomado la acción , y Recompensa de terminar en el estado habiendo comenzado desde el estado tomado la acción , s ′$Pr$$s'$$s$P r ( s ′ | s , a ) = P r ( S t + 1 = s ′ , S t = s , A t = a ) R s ′ s a R ( s , a , s ′ ) = [ R t + 1 | S $a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Por lo tanto, podemos reescribir la ecuación de utilidad anterior como,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Dónde; : Probabilidad de tomar medidas cuando está en estado para una política estocástica. Para la política determinista,a s ∑ a π ( a | s ) = $\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Aquí está mi prueba. Se basa en la manipulación de distribuciones condicionales, lo que facilita su seguimiento. Espero que este te ayude.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Esta es la famosa ecuación de Bellman.

¿Qué pasa con el siguiente enfoque?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Las sumas se introducen con el fin de recuperar , y de . Después de todo, las posibles acciones y posibles estados siguientes pueden ser. Con estas condiciones adicionales, la linealidad de la expectativa conduce al resultado casi directamente.s ′ r $a$$s'$$r$$s$

Sin embargo, no estoy seguro de cuán riguroso es matemáticamente mi argumento. Estoy abierto a mejoras.

Esto es solo un comentario / adición a la respuesta aceptada.

Estaba confundido en la línea donde se aplica la ley de la expectativa total. No creo que la principal forma de ley de expectativa total pueda ayudar aquí. De hecho, aquí se necesita una variante de eso.

Si son variables aleatorias y suponiendo que exista toda la expectativa, entonces se cumple la siguiente identidad:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

En este caso, , y . Luego$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , que por la propiedad de Markov equivale aE [ E [ G t + 1 | S t + 1 = s ′ ] | S t =s ]$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

A partir de ahí, uno podría seguir el resto de la prueba de la respuesta.

ππ(a | s)a$\mathbb{E}_\pi(\cdot)$ generalmente denota la expectativa asumiendo que el agente sigue la política . En este caso, parece no determinista, es decir, devuelve la probabilidad de que el agente tome la acción cuando está en el estado .$\pi$$\pi(a|s)$$a$$s$

Parece que , en minúsculas, está reemplazando , una variable aleatoria. La segunda expectativa reemplaza la suma infinita, para reflejar el supuesto de que continuamos siguiendo para todo el futuro . es la recompensa inmediata esperada en el siguiente paso; La segunda expectativa, que se convierte en es el valor esperado del siguiente estado, ponderado por la probabilidad de terminar en el estado habiendo tomado de .R t + $r$$R_{t+1}$t ∑ s ′ , r r ⋅ p ( s ′ , r | s , a ) v π s ′ a $\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

Por lo tanto, la expectativa explica la probabilidad de la política, así como las funciones de transición y recompensa, aquí expresadas juntas como .$p(s', r|s,a)$

aunque ya se ha dado la respuesta correcta y ha pasado algún tiempo, pensé que la siguiente guía paso a paso podría ser útil:
por la linealidad del valor esperado, podemos dividir en y . Esbozaré los pasos solo para la primera parte, ya que la segunda parte sigue los mismos pasos combinados con la Ley de Expectativa Total.$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Mientras que (III) sigue la forma:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Sé que ya hay una respuesta aceptada, pero deseo proporcionar una derivación probablemente más concreta. También me gustaría mencionar que, aunque el truco de @Jie Shi tiene sentido, pero me hace sentir muy incómodo :(. Debemos tener en cuenta la dimensión del tiempo para que esto funcione. Y es importante tener en cuenta que, en realidad, la expectativa es apoderado de todo el horizonte infinito, en lugar de algo más de y . vamos suponemos partimos de (de hecho, la derivación es el mismo, independientemente de la hora de inicio; no quiero contaminar las ecuaciones con otro subíndice ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ T→∞∑a∑b∑cabc≡∑aa∑bb∑cc ( r TENÍA EN CUENTA QUE LA ECUACIÓN ANTERIOR SIGUE INCLUSO SI , DE HECHO SERÁ VERDAD HASTA EL FINAL DEL UNIVERSO (quizás sea un poco exagerado :))$T\rightarrow\infty$
En esta etapa, creo que la mayoría de nosotros ya debería tener en mente cómo lo anterior conduce a la expresión final: solo necesitamos aplicar la regla de suma de productos ( ) minuciosamente . Apliquemos la ley de linealidad de Expectativa a cada término dentro de$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Parte 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Bueno, esto es bastante trivial, todas las probabilidades desaparecen (en realidad suman 1) excepto las relacionadas con . Por lo tanto, tenemos $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Parte 2
Adivina qué, esta parte es aún más trivial: solo implica reorganizar la secuencia de las sumas.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

Y Eureka !! recuperamos un patrón recursivo junto a los grandes paréntesis. con , y obtenemos y la parte 2 se convierte en $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Parte 1 + Parte 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

Y ahora si podemos meternos en la dimensión del tiempo y recuperar las fórmulas recursivas generales

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Confesión final, me reí cuando vi a las personas mencionadas mencionar el uso de la ley de la expectativa total. Así que aquí estoy

Ya hay muchas respuestas a esta pregunta, pero la mayoría implica pocas palabras que describan lo que sucede en las manipulaciones. Voy a responder con más palabras, creo. Para comenzar,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

se define en la ecuación 3.11 de Sutton y Barto, con un factor de descuento constante y podemos tener o , pero no ambos. Como las recompensas, , son variables aleatorias, también lo es ya que es simplemente una combinación lineal de variables aleatorias.$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

Esa última línea se deriva de la linealidad de los valores esperados. es la recompensa que gana el agente después de tomar medidas en el paso de tiempo . Por simplicidad, supongo que puede tomar un número finito de valores . $R_{t+1}$$t$$r \in \mathcal{R}$

Trabaja en el primer término. En palabras, necesito calcular los valores de expectativa de dado que sabemos que el estado actual es . La fórmula para esto es$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

En otras palabras, la probabilidad de la aparición de la recompensa está condicionada por el estado ; diferentes estados pueden tener diferentes recompensas. Esta distribución es una distribución marginal de una distribución que también contenía las variables y , la acción tomada en el tiempo y el estado en el tiempo después de la acción, respectivamente:$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Donde he usado , siguiendo la convención del libro. Si esa última igualdad es confusa, olvide las sumas, suprima la (la probabilidad ahora parece una probabilidad conjunta), use la ley de multiplicación y finalmente reintroduzca la condición en en todos los términos nuevos. Ahora es fácil ver que el primer término es$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

según sea necesario. En el segundo término, donde supongo que es una variable aleatoria que adquiere un número finito de valores . Al igual que el primer término:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Una vez más, "des-margino" la distribución de probabilidad escribiendo (ley de multiplicación nuevamente)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

La última línea allí sigue de la propiedad de Markovian. Recuerde que es la suma de todas las recompensas futuras (con descuento) que el agente recibe después del estado . La propiedad de Markovian es que el proceso no tiene memoria con respecto a estados, acciones y recompensas anteriores. Las acciones futuras (y las recompensas que obtienen) dependen solo del estado en el que se realiza la acción, por lo que , por supuesto. Ok, entonces el segundo término en la prueba es ahora$G_{t+1}$ s ′ p ( g | s ′ , r , a , s ) = p ( g | s ′ )$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

según sea necesario, una vez más. La combinación de los dos términos completa la prueba.

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

ACTUALIZAR

Quiero abordar lo que podría parecer un juego de manos en la derivación del segundo término. En la ecuación marcada con , uso un término y luego, en la ecuación marcada , afirmo que no depende de , argumentando la propiedad de Markovian. Entonces, podría decir que si este es el caso, entonces . Pero esto no es cierto. Puedo tomar porque la probabilidad en el lado izquierdo de esa declaración dice que esta es la probabilidad de condicionada en , , y$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$. Debido a que conocemos o asumimos el estado , ninguno de los otros condicionales importa, debido a la propiedad de Markovian. Si no conoce o asume el estado , entonces las recompensas futuras (el significado de ) dependerán del estado en el que comience, porque eso determinará (en función de la política) en qué estado comenzará al calcular .$s'$$s'$$g$$s'$$g$

Si ese argumento no te convence, intenta calcular qué es :$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

Como se puede ver en la última línea, no es cierto que . El valor esperado de depende del estado en el que comienza (es decir, la identidad de ), si no conoce o asume el estado .$p(g|s) = p(g)$$g$$s$$s'$