El problema de la pesca

Suponga que quiere ir a pescar al lago cercano de 8 a.m. a 8 p.m. Debido a la sobrepesca, se ha establecido una ley que dice que solo puede pescar un pez por día. Cuando pescas un pez, puedes optar por mantenerlo (y así ir a casa con ese pez), o tirarlo de vuelta al lago y continuar pescando (pero te arriesgas a establecerte más tarde con un pez más pequeño o sin pez). Quieres atrapar un pez lo más grande posible; específicamente, desea maximizar la masa esperada de pescado que lleva a casa.

Formalmente, podríamos configurar este problema de la siguiente manera: los peces se capturan a una cierta velocidad (por lo tanto, el tiempo que lleva capturar su próximo pez sigue una distribución exponencial conocida), y el tamaño de los peces capturados sigue una distribución (también conocida) . Queremos un proceso de decisión que, dada la hora actual y el tamaño de un pez que acaba de atrapar, decida si desea conservar el pez o devolverlo.

Entonces la pregunta es: ¿cómo se debe tomar esta decisión? ¿Hay alguna forma simple (o complicada) de decidir cuándo dejar de pescar? Creo que el problema es equivalente a determinar, durante un tiempo t, qué masa esperada de peces se llevaría a casa un pescador óptimo si comenzaran en el tiempo t; el proceso de decisión óptimo mantendría a un pez si y solo si el pez es más pesado que la masa esperada. Pero eso parece una especie de autorreferencial; Estamos definiendo la estrategia de pesca óptima en términos de un pescador óptimo, y no estoy muy seguro de cómo proceder.

stochastic-processes optimal-stopping

— b2coutts
fuente

Vea el problema de la secretaria en Wikipedia, específicamente la sección sobre la ley 1 / e de la mejor opción.

— soakley

Creo que una diferencia clave aquí es que se supone que sabemos cómo se distribuye todo, mientras que la clave de esa solución es que utiliza los primeros solicitantes 1 / e solo para obtener algo de ese conocimiento y definir un buen umbral. Creo que una idea similar no podría funcionar aquí. Podrías imaginar simplemente derivar un umbral de las distribuciones, pero no creo que deba arreglarse; Creo que el umbral debería disminuir con el tiempo, ya que cada vez tienes menos tiempo para pescar mejor / cualquier pez.

— b2coutts

@soakley vea también mi respuesta a la respuesta de olooney; El valor (esperado) de la espera depende no solo de las capturas que obtendrá en el futuro, sino de las capturas que su estrategia realmente tomará. Así que creo que también hay un extraño aspecto autorreferencial en esta pregunta.

— b2coutts

¿Cuál es la función o el valor que intentamos optimizar? Es decir, ¿cómo sopesamos el riesgo y las ganancias? ¿Se trata de encontrar un método que maximice el valor esperado del tamaño de los peces capturados? ¿Estamos pescando solo un día o varios días, y en este último caso, cómo se correlacionan los días?

— Sextus Empiricus

Conocemos la distribución ... ¿eso solo se refiere al tipo de distribución, o eso también incluye los parámetros de distribución?

— Sextus Empiricus

Sea la tasa del proceso de Poisson y sea donde es la función de distribución acumulativa de la distribución del tamaño de los peces. $\lambda$ $S(x)=1-F(x)$ $F(x)$

Deje que denote el final del día y deje que , , denote la captura esperada en el intervalo que obtenemos si usamos la estrategia óptima. Claramente . Además, si capturamos un pez de tamaño en el momento , deberíamos mantenerlo y dejar de pescar si es más grande que . Entonces esta es nuestra regla de decisión. Por lo tanto, la realización del proceso y la decisión realizada (punto verde) puede tener el siguiente aspecto: $t=0$ $g(t)$ $t\le 0$ $(t,0)$ $g(0)=0$ $x$ $t$ $g(t)$

Trabajando en tiempo continuo, usando ideas de programación dinámica estocástica , el cambio en hacia atrás en el tiempo se describe mediante una ecuación diferencial simple. Considere un intervalo de tiempo infinitesimal . La probabilidad de que capturemos un pez de tamaño en este intervalo de tiempo es contrario nuestra captura esperada será . $g(t)$ $(t-dt,t)$ $X>g(t)$

λ d t S (g (t)),

$\lambda dt S(g(t)),$

g (t)

$g(t)$

Usando una fórmula para la vida residual media , el tamaño esperado de un pez mayor que como $g(t)$

E (X | X > g (t)) = g (t) + \frac{1}{S (g (t))} \int_{g (t)}^{\infty} S (x) d x .

$E(X|X>g(t))=g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx.$

Por lo tanto, utilizando la ley de la expectativa total, la captura esperada en el intervalo convierte en $(t-dt,0)$

g (t - d t) = [λ d t S (g (t))] [g (t) + \frac{1}{S (g (t))} \int_{g (t)}^{\infty} S (x) d x] + [1 - λ d t S (g (t)] g (t) .

$g(t-dt) =[\lambda dt S(g(t))][g(t)+\frac1{S(g(t))}\int_{g(t)}^\infty S(x)dx] + [1-\lambda dt S(g(t)] g(t).$

Reorganizando, encontramos que satisface Observe cómo hacia el final del día disminuye a una tasa igual al producto de la tasa de Poisson y el tamaño medio del pez que refleja que ese punto será mejor mantener cualquier pez que podamos atrapar $g(t)$

\begin{matrix} (1) & \frac{d g}{d t} = - λ \int_{g (t)}^{\infty} S (x) d x . \end{matrix}

$\frac{dg}{dt}=-\lambda \int_{g(t)}^\infty S(x) dx. \tag{1}$

g (t)

$g(t)$

λ

$\lambda$

\int_{0}^{\infty} S (x) d x

$\int_0^\infty S(x)dx$

Ejemplo 1 : suponga que el tamaño de los peces es tal que . La ecuación (1) luego se simplifica a que es una ecuación diferencial separable. Usando la condición límite anterior, la solución es para muestra en la Figura anterior para . El siguiente código compara la captura media usando esta estrategia calculada en base a simulaciones con la media teórica . $X\sim \exp(\alpha)$ $S(x)=e^{-\alpha x}$

\frac{d g}{d t} = - \frac{λ}{α} e^{- α g (t)}

$\frac{dg}{dt}=-\frac\lambda\alpha e^{-\alpha g(t)}$

g (t) = \frac{1}{α} \ln (1 - λ t),

$g(t) = \frac1\alpha\ln(1-\lambda t),$

t \leq 0

$t\le 0$

α = λ = 1

$\alpha=\lambda=1$

g (- 12)

$g(-12)$

g <- function(t,lambda, rate) {
  1/rate*log(1-lambda*t)
}
catch <- function(daylength=12, lambda=1, rfn=runif, gfn=g, ...) {
  n <- rpois(1,daylength*lambda)
  starttime <- -daylength
  arrivaltimes <- sort(runif(n,starttime,0))
  X <- rfn(n,...)
  j <- match(TRUE, X > gfn(arrivaltimes,lambda,...))
  if (is.na(j))
    0
  else
    X[j]
}
nsim <- 1e+5
catches <- rep(0,nsim)
for (i in 1:nsim)
  catches[i] <- catch(gfn=g,rfn=rexp,rate=1,lambda=1)
> mean(catches)
[1] 2.55802
> g(-12,1,1)
[1] 2.564949

Ejemplo 2: Si una derivación similar conduce a como la solución de (1). Observe cómo tiende al tamaño máximo de pez como . $X \sim U(0,1)$

g (t) = 1 - \frac{1}{1 - λ t / 2}

$g(t) = 1 - \frac1{1-\lambda t/2}$

g (t)

$g(t)$

t \to - \infty

$t\rightarrow -\infty$

— Jarle Tufto
fuente

No está claro por qué la estrategia de detenerse si captura un pez cuyo tamaño excede , es óptima. Tendría más sentido detenerse si el tamaño del pez excede el tamaño máximo esperado en .

g (t)

$g(t)$

(t, 0)

$(t,0)$

— Alex R.

Dejarás de pescar antes de tener la oportunidad de elegir el pez más grande. es el tamaño esperado del pez que decide mantener capturado en el intervalo . También es la regla de decisión, en el momento , deja de pescar si pescas un pez más grande que .

g (t)

$g(t)$

(t, 0)

$(t,0)$

t

$t$

g (t)

$g(t)$

— Jarle Tufto

@AlexR. Intenté una simulación por ejemplo 2 usando el tamaño máximo de pez esperado Está cerca pero funcionó menos bien. La expectativa del máximo incluye peces que no serán recogidos (aquellos que resultan ser menores que ). Con esta expectativa del máximo, es más probable que espere hasta el momento en que obtenga una captura muy ventajosa. Esto le da más a menudo peces grandes, pero a costa de peces más pequeños, o ninguno.

g^{'} (t) = 1 - \frac{e^{λ t} - 1}{λ t}

$g'(t)=1-\frac{e^{\lambda t}-1}{\lambda t}$

g^{'} (t)

$g'(t)$

— Sextus Empiricus