Gusano y valor esperado de Apple

8

Una manzana se encuentra en el vértice de pentágono , y un gusano se encuentra a dos vértices de distancia, en . Todos los días el gusano se arrastra con igual probabilidad a uno de los dos vértices adyacentes. Así, después de un día, el gusano está en el vértice o , cada uno con una probabilidad de . Después de dos días, el gusano podría estar nuevamente en , porque no tiene memoria de posiciones anteriores. Cuando alcanza el vértice , se detiene a cenar. $A$ $ABCDE$ $C$ $B$ $D$ $1/2$ $C$ $A$

(a) ¿Cuál es la media del número de días hasta la cena?

(b) Sea p la probabilidad de que el número de días sea $100$ o más. ¿Qué dice la desigualdad de Markov sobre $p$ ?

Para (a), sea $X$ la variable aleatoria definida por el número de días hasta la cena. Entonces

P (X = 0) = 0 P (X = 1) = 0 P (X = 2) = \frac{1}{(\binom{5}{2})} ⋮

$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$

¿Cuál sería la distribución general?

Para (b), si sabemos (a), entonces sabemos que

P (X \geq 100) \leq \frac{E (X)}{100}

$P(X \geq 100) \leq \frac{E(X)}{100}$

probability markov-process

— probguy3434
fuente

2

¿Podría explicar su primer conjunto de ecuaciones? No parecen dar cuenta de la posibilidad de que el gusano invierta la dirección, ni parecen correctas. Después de todo, es mucho menor que la posibilidad del camino que tiene probabilidad Tenga en cuenta que el punto de esta pregunta es que puede ser más difícil obtener la distribución completa que calcular sus expectativas; y la desigualdad de Markov, sin embargo, le permite deducir información útil solo de la expectativa.

1 / (\binom{5}{2}) = 1 / 10

$1/\binom{5}{2}=1/10$

A \to B \to C

$A\to B\to C$

(1 / 2) (1 / 2) = 1 / 4.

$(1/2)(1/2)=1/4.$

— whuber

6

En la excelente respuesta de Glen_b , muestra que puedes calcular el valor esperado analíticamente usando un sistema simple de ecuaciones lineales. Siguiendo este método analítico, puede determinar que el número esperado de movimientos a la manzana es seis. Otra excelente respuesta de Whuber muestra cómo derivar la función de masa de probabilidad para el proceso después de un número dado de movimientos, y este método también se puede utilizar para obtener una solución analítica para el valor esperado. Si desea ver más información sobre este problema, debe leer algunos documentos sobre caminatas aleatorias circulares (véase, por ejemplo, Stephens 1963 )

Para dar una visión alternativa del problema, voy a mostrarle cómo puede obtener el mismo resultado utilizando el método de fuerza bruta de calcular la cadena de Markov utilizando la computación estadística. Este método es inferior al examen analítico en muchos aspectos, pero tiene la ventaja de que le permite tratar el problema sin requerir ninguna comprensión matemática importante.

Método computacional de fuerza bruta: tomando los estados en orden , las transiciones de la cadena de Markov de acuerdo con la siguiente matriz de transición: $A,B,C,D,E$

P = [\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \end{matrix}]

$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$

El primer estado es el estado absorbente donde el gusano está en la manzana. Deje sea el número de movimientos hasta que el gusano llega a la manzana de estado . Entonces, para todos los la probabilidad de que el gusano esté en la manzana después de este número de movimientos es y, por lo tanto, el número esperado de movimientos para llegar a la manzana desde este estado es: $A$ $T_C$ $C$ $n \in \mathbb{N}$ $\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

E (T_{C}) = \sum_{n = 0}^{\infty} P (T_{C} > n) = \sum_{n = 0}^{\infty} (1 - {P^{n}}_{C, A}) .

$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$

Los términos en la suma disminuyen exponencialmente para grande, por lo que podemos calcular el valor esperado a cualquier nivel deseado de precisión truncando la suma en un número finito de términos. (La disminución exponencial de los términos garantiza que podamos limitar el tamaño de los términos eliminados para que estén por debajo del nivel deseado). En la práctica, es fácil tomar una gran cantidad de términos hasta que el tamaño de los términos restantes sea extremadamente pequeño. $n$

Programación de esto en R: puede programar esto como una función al Rusar el código a continuación. Este código se ha vectorizado para generar una matriz de potencias de la matriz de transición para una secuencia finita de movimientos. También generamos una gráfica de la probabilidad de que no se haya alcanzado la manzana, lo que muestra que esto disminuye exponencialmente.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Como puede ver en este cálculo, el número esperado de movimientos para llegar a la manzana es seis. Este cálculo fue extremadamente rápido utilizando el código vectorizado anterior para la cadena de Markov.

— Ben - Restablece a Monica
fuente

5

Solo quiero ilustrar una forma simple de ver la parte (a) sin pasar por toda la rutina de la cadena de Markov. Hay dos clases de estados de los que preocuparse: estar a un paso y estar a dos pasos (C y D son idénticos en términos de pasos esperados hasta llegar a A, y B y E son idénticos). Deje que " " represente el número de pasos que toma desde el vértice y así sucesivamente. $S_B$ $B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Del mismo modo, escriba una ecuación para la expectativa de . $E(S_B)$

Sustituya el segundo por el primero (y, por conveniencia, escriba para ) y obtendrá una solución para en un par de líneas. $c$ $E(S_C)$ $c$

— Glen_b -Reinstate a Monica
fuente

3

+1. También me gusta al reemplazar las expectativas por las funciones generadoras de probabilidad, se obtiene una ecuación similar, igualmente fácil de resolver, que muestra que el pgf para el estado inicial es igual a y eso conduce a una fórmula simple para cualquiera de las probabilidades. Mejor: deje que sea el número de pasos que comienzan enDefina yLas relaciones son ySustituyendo el último en el primero produce para Por lo tanto, es el

t^{2} / (4 - 2 t - t^{2}),

$t^2/(4-2t-t^2),$

X_{y}

$X_y$

y \in {A, B} .

$y\in\{A,B\}.$

f_{n} = 2^{n} Pr (X_{A} = n)

$f_n=2^n\Pr(X_A=n)$

g_{n} = 2^{n} Pr (X_{B} = n) .

$g_n=2^n\Pr(X_B=n).$

f_{n} = f_{n - 1} + g_{n - 1}

$f_n=f_{n-1}+g_{n-1}$

g_{n - 1} = f_{n - 2} .

$g_{n-1}=f_{n-2}.$

f_{n} = f_{n - 1} + f_{n - 2}

$f_n=f_{n-1}+f_{n-2}$

n \geq 3.

$n\ge 3.$

f_{n}

$f_n$

n - 2^{nd}

$n-2^\text{nd}$ Número de Fibonacci

— whuber

@whuber: Debería convertir su comentario en una respuesta completa, es realmente bueno.

— Ben - Restablece a Mónica el

1

Estoy de acuerdo, vale la pena publicarlo como respuesta, incluso en este breve formulario.

— Glen_b -Reinstale a Monica el

3

El problema

Esta cadena de Markov tiene tres estados, que se distinguen por si el gusano está a o espacios lejos de Sea la variable aleatoria que indica cuántos pasos tomará el gusano para llegar a desde el estado Sus funciones generadoras de probabilidad son una forma algebraica conveniente de codificar las probabilidades de estas variables. No es necesario preocuparse por cuestiones analíticas como la convergencia: simplemente mírelas como series de poder formales en un símbolo dado por $0,$ $1,$ $2$ $C.$ $X_i$ $C$ $i\in\{0,1,2\}.$ $t$

f_{i} (t) = Pr (X_{i} = 0) + Pr (X_{i} = 1) t^{1} + Pr (X_{i} = 2) t^{2} + \dots + Pr (X_{i} = n) t^{n} + \dots

$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$

Como es trivial que Necesitamos encontrar $\Pr(X_0=0)=1,$ $f_0(t)=1.$ $f_2.$

Análisis y solución.

Desde el estado el gusano tiene las mismas posibilidades de de mover de nuevo a estado o alcanzar . Tener en cuenta este paso agrega a todas las potencias de , lo que equivale a multiplicar pgf por , dando $1,$ $1/2$ $2$ $C$ $1$ $t$ $t$

f_{1} = \frac{1}{2} t (f_{2} + f_{0}) .

$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$

Del mismo modo, desde el estado el gusano tiene las mismas posibilidades de permanecer en el estado o alcanzar el estado donde $2$ $2$ $1,$

f_{2} = \frac{1}{2} t (f_{2} + f_{1}) .

$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$

La aparición de sugiere que nuestro trabajo será más fácil al introducir la variable dando $t/2$ $x=t/2,$

f_{1} (x) = x (f_{2} (x) + f_{0} (x)); f_{2} (x) = x (f_{2} (x) + f_{1} (x)) .

$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$

Sustituyendo el primero en el segundo y recordando da $f_0=1$

$\begin{matrix} (*) & f_{2} (x) = x (f_{2} (x) + x (f_{2} (x) + 1)) \end{matrix}$ $f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$

cuya única solución es

\begin{matrix} (**) & f_{2} (x) = \frac{x^{2}}{1 - x - x^{2}} . \end{matrix}

$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$

Destaqué la ecuación para enfatizar su simplicidad básica y su similitud formal con la ecuación que obtendríamos al analizar solo los valores esperados en efecto, para la misma cantidad de trabajo que se necesita para encontrar este número, Obtenemos toda la distribución. $(*)$ $E[X_i]:$

Implicaciones y simplificación.

De manera equivalente, cuando se escribe término por término y las potencias de coinciden, afirma que para $(*)$ $t$ $n\ge 4,$

2^{n} Pr (X_{2} = n) = 2^{n - 1} Pr (X_{2} = n - 1) + 2^{n - 2} Pr (X_{2} = n - 2) .

$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$

Esta es la recurrencia de la famosa secuencia de números de Fibonacci.

(F_{n}) = (1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, \dots)

$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$

(indexado desde ). La coincidencia de la solución es esta secuencia desplazada por dos lugares (porque no hay probabilidad de que o y es fácil verificar que ). $n=0$ $(**)$ $X_2=0$ $X_2=1$ $2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

Por consiguiente

$Pr (X_{2} = n) = 2^{- n - 2} F_{n - 2} .$ $\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$

Más específicamente,

\begin{aligned} f_{2} (t) & = 2^{- 2} F_{0} t^{2} + 2^{- 3} F_{1} t^{3} + 2^{- 4} F_{2} t^{4} + \dots \\ = \frac{1}{4} t^{2} + \frac{1}{8} t^{3} + \frac{2}{16} t^{4} + \frac{3}{32} t^{5} + \frac{5}{64} t^{6} + \frac{8}{128} t^{7} + \frac{13}{256} t^{8} + \dots . \end{aligned}

$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$

La expectativa de se encuentra fácilmente evaluando la derivada y sustituyendo porque (diferenciando las potencias de término por término) esto da la fórmula $X_2$ $f^\prime$ $t=1,$ $t$

f^{'} (1) = Pr (X_{2} = 0) (0) + Pr (X_{2} = 1) (1) 1^{0} + \dots + Pr (X_{2} = n) (n) 1^{n - 1} + \dots

$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$

que, como la suma de las probabilidades multiplicada por los valores de es precisamente la definición de Tomar la derivada usando produce una fórmula simple para la expectativa. $X_2,$ $E[X_2].$ $(**)$

Algunos breves comentarios

Al expandir como fracciones parciales, se puede escribir como la suma de dos series geométricas. Esto muestra inmediatamente que las probabilidades disminuirán exponencialmente. También produce una forma cerrada para las probabilidades de cola Usando eso, podemos calcular rápidamente que es un poco menos de $(**)$ $f_2$ $\Pr(X_2=n)$ $\Pr(X_2 \gt n).$ $\Pr(X_2 \ge 100)$ $10^{-9}.$

Finalmente, estas fórmulas involucran la proporción áurea Este número es la longitud de un acorde de un pentágono regular (del lado de la unidad), produciendo una conexión sorprendente entre una cadena de Markov puramente combinatoria en el pentágono (que "no sabe" nada sobre la geometría euclidiana) y la geometría de un pentágono regular en el Avión Euclidiano. $\phi = (1 + \sqrt{5})/2.$

— whuber
fuente

1

Para el número medio de días hasta la cena, condicione el paso dado el primer día. Deje que sea el número de días hasta que el gusano obtenga la manzana. Deje que sea el primer paso. $X$ $F$

Entonces nosotros tenemos

E [X] = E [X | F = B] [P (F = B)] + E [X | F = D] P [F = D]

$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$

Si el primer paso es hacia entonces el gusano obtiene la manzana en el día 2 con probabilidad de la mitad, o regresa al vértice con probabilidad de la mitad y comienza de nuevo. Podemos escribir esto como $B,$ $C$

E [X | F = B] = 2 (\frac{1}{2}) + (2 + E [X]) (\frac{1}{2}) = 2 + \frac{E [X]}{2}

$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$

Si el primer paso es hacia entonces por simetría, es lo mismo que estar en el vértice excepto que el gusano ha dado un solo paso para $D,$ $C$

E [X | F = D] = 1 + E [X]

$E[X|F=D]=1+E[X]$

Poniendo todo junto, obtenemos

E [X] = (2 + \frac{E [X]}{2}) (\frac{1}{2}) + (1 + E [X]) (\frac{1}{2})

$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$

Resolver para produce $E[X]$

E [X] = 6

$E[X] = 6$

— Soakley
fuente

1

Esto parece recapitular la respuesta de @ Glen_b.

— whuber