¿Cuál es un límite inferior ajustado en el tiempo de cobro de cupones?

20

En el problema clásico de Coupon Collector , es bien sabido que el tiempo necesario para completar un conjunto de cupones elegidos al azar satisface , y . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Este límite superior es mejor que el dado por la desigualdad de Chebyshev, que sería aproximadamente $1/c^2$ .

Mi pregunta es: ¿hay un límite inferior correspondiente mejor que Chebyshev para $T$ ? (por ejemplo, algo como $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— David
fuente

Un límite inferior obvio es

Pr (T < n) = 0

$\Pr(T<n) = 0$ , pero supongo que estás al tanto de eso ...

— para el

14

Estoy proporcionando esto como una segunda respuesta ya que el análisis es completamente elemental y proporciona exactamente el resultado deseado.

Proposición Para $c > 0$ y $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

La idea detrás de la prueba es simple:

Representa el tiempo hasta que se recojan todos los cupones como $T = \sum_{i=1}^n T_i$ , donde $T_i$ es el momento en que se recolecta el $i$ ésimo cupón único (hasta ahora) . Las $T_i$ son variables aleatorias geométricas con tiempos medios de $\frac{n}{n-i+1}$ .
Aplique una versión del límite de Chernoff y simplifique.

Prueba

Para cualquier y cualquier , tenemos que $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Como y son independientes, podemos escribir $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Ahora, dado que es geométrico, digamos con probabilidad de éxito , entonces un cálculo simple muestra $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

Los para nuestro problema son , , , etc. Por lo tanto, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Vamos a elegir y para algunos . Entonces y , dando $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Al poner esto juntos, obtenemos que

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

como se desee.

— cardenal
fuente

Eso es muy agradable y justo lo que recetó el médico. Gracias.

— David

@David, solo curiosidad: ¿Cuál es la aplicación prevista?

— Cardenal

Larga historia. Estoy tratando de demostrar un límite inferior para el tiempo de mezcla de una cadena de Markov que he preparado para analizar el tiempo de ejecución de un algoritmo que me interesa, lo que se reduce a un límite inferior de la c problema de coleccionista. Por cierto, había estado jugando tratando de encontrar exactamente este tipo de límite de estilo Chernoff, pero no había descubierto cómo deshacerse de ese producto en . Buena llamada eligiendo :-).

i

$i$

s = 1 / n

$s = 1/n$

— David

@David, , aunque casi seguramente subóptimo, parecía lo más obvio, ya que dio , que es el mismo término que el obtenido en la derivación para El límite superior.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— Cardenal

1

Solicitud : La prueba que he presentado anteriormente es la mía. Trabajé en ello por placer, ya que el problema me intrigaba. Sin embargo, no pretendo ser novedoso. De hecho, no puedo imaginar que una prueba similar usando una técnica similar ya no exista en la literatura. Si alguien conoce una referencia, publíquela como comentario aquí. Me interesaría mucho saber de uno.

— Cardenal

9

Aunque @cardinal ya ha dado una respuesta que da precisamente el límite que estaba buscando, he encontrado un argumento similar al estilo de Chernoff que puede dar un límite más fuerte:

Proposición : (esto es más fuerte para )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Prueba :

Como en la respuesta de @ cardinal, podemos utilizar el hecho de que es una suma de variables aleatorias geométricas independientes con probabilidades de éxito . Se deduce que y . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Defina ahora nuevas variables y . Entonces podemos escribir $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

Calculando los promedios, tenemos

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ donde la desigualdad se deriva de los hechos que y también para .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Por lo tanto, dado que , podemos escribir $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

Minimizando sobre , finalmente obtenemos $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— David
fuente

1

(+1) Modulo un par de errores menores, esto es bueno. Expandir alrededor de algo cercano a la media como lo ha hecho a menudo funciona mejor. No me sorprende ver la convergencia de orden superior a la luz de los resultados asintóticos. Ahora, si muestra un límite superior similar, eso demuestra que es subexponencial en la terminología de Vershynin, lo que tiene muchas implicaciones con respecto a la concentración de la medida.

(T - n \log n) / n

$(T-n\log n)/n$

— cardenal

1

El argumento no parece generalizarse directamente al límite superior. El intercambio de para (y para ), uno puede seguir los mismos pasos hasta el punto de cálculo de . En este punto, sin embargo, lo mejor que puedo hacer es usar , que todavía deja y yo no No sé qué hacer con esto

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - s / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— David

2

Sin embargo, es bastante interesante que todo el argumento (para el límite inferior) parece funcionar no solo para el problema del colector de cupones, sino para cualquier suma de variables geométricas independientes no idénticas con varianza limitada. Específicamente: dado , donde cada es un GV independiente con probabilidad de éxito , y donde , luego

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - a) \leq e^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— David

4

Nota importante : he decidido eliminar la prueba que proporcioné originalmente en esta respuesta. Fue más largo, más computacional, usó martillos más grandes y demostró un resultado más débil en comparación con la otra prueba que he dado. A su alrededor, un enfoque inferior (en mi opinión). Si está realmente interesado, supongo que puede ver las ediciones.

Los resultados asintóticos que cité originalmente y que todavía se encuentran a continuación en esta respuesta muestran que, como , podemos hacerlo un poco mejor que el límite demostrado en la otra respuesta, que se cumple para todos los . $n \to \infty$ $n$

Los siguientes resultados asintóticos se mantienen

P (T > n \log n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

y

P (T \leq n \log n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

La constante y los límites se toman como . Tenga en cuenta que, aunque están separados en dos resultados, son más o menos el mismo resultado, ya que no está limitado a ser negativo en ninguno de los casos. $c \in \mathbb{R}$ $n \to \infty$ $c$

Ver, por ejemplo, Motwani y Raghavan, Randomized Algorithms , pp. 60-63 para una prueba.

Además : David amablemente proporciona una prueba de su límite superior declarado en los comentarios a esta respuesta.

— cardenal
fuente

Sí, se cumple para cada fijo . Se puede encontrar una prueba (muy simple), por ejemplo en el libro de Levin, Peres y Wilmer Markov Chains and Mixing Times, Proposición 2.4. Sin embargo, la prueba no funciona para el límite inferior.

n

$n$

— David

1

De hecho, también podría transcribir la prueba aquí: "Sea el caso de que el -ésimo tipo [cupón] no aparezca entre los primeros cupones extraídos. Observe primero que . Dado que cada prueba tiene una probabilidad de no recibir el cupón y las pruebas son independientes, el lado derecho de arriba está limitado por , probando (2.7) ".

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— David

@David, eso es agradable y simple. Rápidamente jugué con expandir la fórmula de inclusión-exclusión por otro término, pero no llegué a ningún lado rápidamente y no he tenido tiempo de analizarlo más. El evento es equivalente al evento de que no quedan cupones después de intentos. Debería haber una martingala asociada con eso. ¿Intentó la desigualdad de Hoeffding en la (presunta) martingala asociada? El resultado asintótico sugiere una fuerte concentración de medida.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— cardenal

@David, hay un cambio de signo en tu prueba anterior, pero estoy seguro de que eso también es obvio para otros lectores.

— cardenal

@David, mira mi otra respuesta publicada a tu pregunta. El método es diferente al límite superior que usted proporciona, pero las herramientas empleadas son casi tan elementales, en contraste con la respuesta que le di aquí.

— cardenal

2

Benjamin Doerr ofrece (en el capítulo "Análisis de la heurística de búsqueda aleatoria: herramientas de la teoría de la probabilidad" en el libro "Teoría de la heurística de búsqueda aleatoria", vea el enlace para un PDF en línea) una prueba algo simple de

Propuesta Deje que sea el tiempo de parada del proceso de recolección de cupones. Entonces . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Esto parece dar las asíntotas deseadas (de la segunda respuesta de @ cardinal), pero con la ventaja de ser cierto para todos y . $n$ $\epsilon$

Aquí hay un boceto de prueba.

Boceto de prueba: Sea el caso de que el -ésimo cupón se recoja en los primeros sorteos. Por lo tanto, . El hecho clave es que las están negativamente correlacionadas, para cualquier , . Intuitivamente, esto es bastante claro, como saber que el cupón -ésimo en el primer atrae haría menos probable que el cupón -ésimo También se señala en el primer atrae. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

Uno puede probar la afirmación, pero ampliando el conjunto en 1 en cada paso. Entonces se reduce a mostrar que , para . De manera equivalente, al promediar, se reduce a mostrar que . Doerr solo da un argumento intuitivo para esto. Una vía para una prueba es la siguiente. Se puede observar que, condicionado al cupón viene después de todos los cupones en , que la probabilidad de sacar un nuevo cupón de después de sacar hasta ahora es ahora , en lugar del anterior $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Entonces, al descomponer el tiempo para recolectar todos los cupones como una suma de variables geométricas aleatorias, podemos ver que el condicionamiento del cupón que viene después de que aumente las probabilidades de éxito, y por lo tanto, hacer el condicionamiento solo hace que sea más probable recoger los cupones antes por dominio estocástico: cada variable aleatoria geométrica se incrementa, en términos de dominio estocástico, por el condicionamiento, y este dominio se puede aplicar a la suma). $j$ $I$

Dada esta correlación negativa, se deduce que , que da el límite deseado con . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
fuente