Simule un dado justo con un dado sesgado

18

Dado un dado sesgado del lado , ¿cómo puede generarse un número aleatorio en el rango manera uniforme? La distribución de probabilidad de las caras del dado no se conoce, todo lo que se sabe es que cada cara tiene una probabilidad distinta de cero y que la distribución de probabilidad es la misma en todos los lanzamientos (en particular, los lanzamientos son independientes). Esta es la generalización obvia de los resultados justos con un dado injusto . $N$ $[1,N]$

Poniendo esto en términos informáticos, tenemos un oráculo que representa las tiradas del dado: modo que es distinto de cero e independiente de . Estamos en busca de un algoritmo determinista que está parametrizada por (es decir, pueden hacer llamadas a ) de tal manera que . El algoritmo debe terminar con la probabilidad 1, es decir, la probabilidad de que haga más de llamadas a debe converger a como . $D : \mathbb{N} \to [1,N]$ $p_i = P(D(k)=i)$ $k$ $A$ $D$ $A$ $D$ $P(A()=i) = 1/N$ $A$ $n$ $D$ $0$ $n\to\infty$

Para (simule una moneda justa de monedas con una moneda sesgada), hay un algoritmo bien conocido: $N=2$

Repita "voltear dos veces" hasta que los dos lanzamientos arrojen resultados distintos ((cara, cruz) o (cola, cara)). En otras palabras, bucle para hasta $k = 0..\infty$ $D(2k+1) \ne D(2k)$
Devuelve 0 si el último par de vueltas fue (caras, colas) y 1 si fue (colas, caras). En otras palabras, devuelva donde es el índice en el que se terminó el ciclo. $D(2k)$ $k$

Una forma simplista de hacer un dado imparcial a partir de uno sesgado es usar el método de deshacer el cambio de moneda para construir una moneda justa, y construir un dado justo con muestreo de rechazo, como en Unbiasing de secuencias . Pero, ¿es esto óptimo (para valores genéricos de la distribución de probabilidad)?

Específicamente, mi pregunta es: ¿qué es un algoritmo que requiere el menor número esperado de llamadas al oráculo ? Si el conjunto de valores esperados alcanzables está abierto, ¿cuál es el límite inferior y cuál es una clase de algoritmos que converge hacia este límite inferior?

En caso de que diferentes familias de algoritmos sean óptimas para diferentes distribuciones de probabilidad, centrémonos en dados casi justos: estoy buscando un algoritmo o una familia de algoritmos que sea óptimo para distribuciones tales que para algunos . $\forall i, \bigl|p_i - 1/N\bigr| \lt \epsilon$ $\epsilon \gt 0$

probability-theory randomized-algorithms random-number-generator

— Gilles 'SO- deja de ser malvado'
fuente

Tenga en cuenta que es importante definir cuidadosamente el óptimo, ya que, por ejemplo, se le puede dar un dado completamente justo, o un dado que tenga

p_{1} = 1 - ϵ

$p_1 = 1-\epsilon$ ,

p_{i} = ϵ / (N - 1)

$p_i = \epsilon/(N-1)$ para

por ejemplo.

, o cualquier otro tipo de morir Un esquema óptimo para el dado justo solo requiere una tirada, mientras que para el ejemplo injusto, un esquema óptimo requiere muchos. Además, el supremum de los troqueles sesgados óptimos sobre todos los posibles es probablemente ilimitado. Por lo tanto, es posible que desee introducir un parámetro, y suponga que

i > 1

$i > 1$

max_{i} p_{i} \leq 1 - ϵ

$\max_i p_i \leq 1-\epsilon$

— usul

@usul No entiendo tu comentario. Hay algoritmos más eficientes para algunos valores de

(por ejemplo, si

), pero solo pido algoritmos que no dependan de

. ¿Cuál es el punto de

?

p_{i}

$p_i$

\forall i, p_{i} = 1 / N

$\forall i, p_i = 1/N$

(p_{i})

$(p_i)$

ϵ

$\epsilon$

— Gilles 'SO- deja de ser malvado'

¿Cómo se mide la eficiencia de un algoritmo que no depende de

? Probablemente para cualquier algoritmo de este tipo, no existe un límite superior en el número esperado de llamadas necesarias, tomando mi ejemplo sesgado con

. Esto es lo que quiero decir con "el supremum de lo óptimo ... probablemente no tiene límites". Entonces, si todos los algoritmos pueden requerir arbitrariamente muchas tiradas de dados en expectativa, ¿cómo decidimos cuál es el mejor?

(p_{i})

$(p_i)$

ϵ \to 0

$\epsilon \to 0$

— usul

@usul No hay límite superior en el número de lanzamientos, por supuesto, pero estoy preguntando sobre el valor esperado (es decir, el número promedio de lanzamientos). Para una distribución dada

, el valor esperado para el algoritmo que crea una moneda justa y lo usa para el muestreo de rechazo es finito, ¿no? Es cierto que la expectativa depende de la distribución, por lo que diferentes algoritmos (familias de) podrían ser óptimos para diferentes distribuciones. Si ese es el caso, digamos que estoy interesado en dados casi justos.

(p_{i})

$(p_i)$

— Gilles 'SO- deja de ser malvado'

No es exactamente la pregunta, pero ¿estaría dispuesto a buscar solo un resultado que sea cercano al uniforme (en

/ distancia de variación total)? Si es así, dependiendo de la garantía que solicite de la distribución original, esto se estudia en un artículo reciente (en presentación), bajo el nombre de "mejorador de muestreo para uniformidad", que muestra en particular que puede obtener números de sorteos independientes de

para mejorar de

distancia

a distancia

.

ℓ_{1}

$\ell_1$

N

$N$

ℓ_{1}

$\ell_1$

ε

$\varepsilon$

ε^{'}

$\varepsilon^\prime$

— Clemente C.

3

El siguiente artículo responde a una variante cercana de esta pregunta: La construcción eficiente de una secuencia aleatoria imparcial, Elias 1972 .

La pregunta parece ser esta: dado el acceso a esta fuente independiente sesgada, genera una secuencia de números aleatorios en (observe la diferencia de su pregunta en la que solo se solicita un símbolo de salida). A medida que la longitud del resultado deseado llega al infinito, la "eficiencia" del esquema en el documento (que parece una generalización natural de von Neumann) va a $[1,N]$ , lo que significa, creo, que una entrada con entropía se convierte en Una salida de entropía que se aproxima a . $1$ $h$ $h$

La pregunta parece comportarse mucho mejor cuando se formula de esta manera, en lugar de solicitar un solo dígito de salida, porque, por ejemplo, si dibujamos muestras y terminamos con una salida con mucha información (por ejemplo, todos los símbolos de entrada son distintos) , entonces podemos usartodaesa información para producir muchos símbolos de salida, mientras que con la pregunta como está formulada aquí, cualquier información más allá de la utilizada para producir un símbolo de salida se desperdicia. $N$ $N$

Creo que el esquema toma sorteos repetidamente , mira la secuencia y le asigna algunas salidas o la cadena vacía. ¿Quizás haya una manera de mejorar el esquema de su pregunta mirando prefijos y deteniéndose si tenemos información "suficiente" para generar un símbolo? No lo sé. $N$

— usul
fuente

No he buscado trabajo posterior o trabajo citando el documento, así que no sé, pero tal vez alguien mejoró el esquema, ofreció otro, respondió a su pregunta, etc.

— usul

2

El método que describe para generaliza. Usamos que todas las permutaciones de son igualmente probables incluso con un dado sesgado (ya que las tiradas son independientes). Por lo tanto, podemos seguir rodando hasta que veamos una permutación como las últimas tiradas y la salida de la última tira. $N=2$ $[1..N]$ $N$

Un análisis general es complicado; Sin embargo, está claro que el número esperado de lanzamientos crece rápidamente en ya que la probabilidad de ver una permutación en cualquier paso dado es pequeña (y no independiente de los pasos anteriores y posteriores, por lo tanto, difícil). Sin embargo, es mayor que para fijo , por lo que el procedimiento termina casi con seguridad (es decir, con probabilidad ). $N$ $0$ $N$ $1$

Para fijo podemos construir una cadena de Markov sobre el conjunto de vectores Parikh que suman , resumiendo los resultados de los últimos rollos, y determinar el número esperado de pasos hasta llegar a $N$ $\leq N$ $N$ para el primera vez $(1,\dots,1)$ . Esto es suficiente ya que todas las permutaciones que comparten un vector Parikh son igualmente probables; Las cadenas y los cálculos son más simples de esta manera.

Supongamos que estamos en el estado de con . Entonces, la probabilidad de obtener un elemento (es decir, el próximo lanzamiento es $v=(v_1,\dots,v_N)$ $\sum_{i=1}^n v_i \leq N$ $i$ $i$ ) siempre viene dada por

$\qquad\displaystyle \operatorname{Pr}[\text{gain } i] = p_i$ .

Por otro lado, la posibilidad de soltar un elemento $i$ de la historia está dada por

$\qquad\displaystyle \operatorname{Pr}_v[\text{drop } i] = \frac{v_i}{N}$

siempre que (y de otro modo), precisamente porque todas las permutaciones con Parikh-vector son igualmente probables. Estas probabilidades son independientes (ya que los rollos son independientes), por lo que podemos calcular las probabilidades de transición de la siguiente manera: $\sum_{i=1}^n v_i = N$ $0$ $v$

$\qquad\begin{align*} &\operatorname{Pr}[v \to (v_1,\dots,v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} \operatorname{Pr}[\text{gain } j] &, \sum v < N \\ 0 &, \text{ else} \end{cases}\;,\\[3ex] &\operatorname{Pr}[v \to (v_1,\dots,v_i - 1, \dots v_j + 1,\dots,v_N)] \\ &\qquad=\begin{cases} 0 &, \sum v < N \lor v_i=0 \lor v_j=N \\ \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } j] &, \text{ else} \end{cases}\;\text{ and}\\[3ex] &\operatorname{Pr}[v \to v] \\ &\qquad=\begin{cases} 0 &, \sum v < N \\ \sum_{v_i \neq 0} \operatorname{Pr}_v[\text{drop } i] \cdot \operatorname{Pr}[\text{gain } i] &, \text{ else} \end{cases}\;; \end{align*}$

todas las demás probabilidades de transición son cero. El único estado de absorción es , el vector Parikh de todas las permutaciones de . $(1,\dots,1)$ $[1..N]$

Para la cadena de Markov resultante es $N=2$

Cadena de Markov para N = 2
^{[ fuente ]}

con el número esperado de pasos hasta la absorción

$\qquad\displaystyle \mathbb{E}\,\text{steps} = 2 p_0 p_1 \cdot 2 + \sum_{i\geq 3} (p_0^{i-1}p_1 + p_1^{i-1}p_0)\cdot i = \frac{1 - p_0 + p_0^2}{p_0-p_0^2}\;,$

utilizando para simplificar que . Si ahora, como se sugiere, $p_1=1-p_0$ para algunos $p_0 = \frac{1}{2} \pm \epsilon$ , entonces $\epsilon \in [0,\frac{1}{2})$

$\qquad\displaystyle \mathbb{E}\,\text{steps} = \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$ .

Para y distribuciones uniformes (el mejor de los casos) he realizado los cálculos con álgebra de computadora²; Como el espacio de estado explota rápidamente, los valores más grandes son difíciles de evaluar. Los resultados (redondeados hacia arriba) son $N \leq 6$

Parcela Normal LogPlot
^{Mostrar parcelas en función de $\mathbb{E}\,\text{steps}$ $N$ ; a la izquierda una trama logarítmica regular y a la derecha.}

El crecimiento parece ser exponencial, pero los valores son demasiado pequeños para dar buenas estimaciones.

En cuanto a la estabilidad frente a las perturbaciones de la , podemos observar la situación para : $p_i$ $N=3$

Número esperado de pasos para N = 3 y diferentes opciones
^{La trama muestra en función de y ; naturalmente, . $\mathbb{E}\,\text{steps}$ $p_0$ $p_1$ $p_2 = 1 - p_0 - p_1$}

Suponiendo imágenes similares para más grande (el núcleo se bloquea al calcular resultados simbólicos incluso para ), el número esperado de pasos parece ser bastante estable para todas las opciones excepto las más extremas (casi todas o ninguna masa en algún ). $N$ $N=4$ $p_i$

Para comparar, simular una moneda imparcial (por ejemplo, asignando los resultados del dado a y manera más uniforme posible), usar esto para simular una moneda justa y, finalmente, realizar un muestreo de rechazo en bits. $\epsilon$ $0$ $1$

$\qquad\displaystyle 2\lceil \log N \rceil \cdot \frac{3 + 4\epsilon^2}{1 - 4\epsilon^2}$

los dados mueren en expectativa, probablemente deberías quedarte con eso.

Como la cadena absorbe los bordes insinuados en gris nunca se atraviesan y no influyen en los cálculos. Los incluyo simplemente para completar y para fines ilustrativos. $(11)$
Implementación en Mathematica 10 ( Notebook , Bare Source ); lo siento, es lo que sé para este tipo de problemas.

— Rafael
fuente

1

Solo un comentario rápido sobre el caso . Tome un número grande de , y muestree tiros del dado. Si tienes cabezas, entonces puedes extraer $N = 2$ $m$ $m$ $k$ bits. Suponiendo que el dado estásesgado, la cantidad promedio de información es $\log \binom{m}{k}$ $p$ Para obtener esta estimación, utilice el hecho de que la variable binomial se concentra alrededor dejunto con elestimación

\sum_{k = 0}^{m} p^{k} (1 - p)^{m - k} (\binom{m}{k}) \log (\binom{m}{k}) \approx m h (p) .

$\sum_{k=0}^m p^k (1-p)^{m-k} \binom{m}{k} \log \binom{m}{k} \approx m h(p).$

k = p m

$k = pm$

. A medida que

aumenta, obtenemos la tasa óptima de

\log (\binom{m}{k}) \approx m h (k / m)

$\log \binom{m}{k} \approx mh(k/m)$

m

$m$

h (p)

$h(p)$ por lanzamiento de moneda (esto es óptimo por razones teóricas de información, por ejemplo, la propiedad de equipartición asintótica).

Puede usar el mismo método para general , y probablemente obtendrá el mismo . Estos algoritmos solo son óptimos en el límite, y puede haber algoritmos que lleguen al límite más rápido que estos. De hecho, olvidé calcular la velocidad de convergencia; podría ser un ejercicio interesante. $N$ $H(\vec{p})$

— Yuval Filmus
fuente

1

Me arriesgaría a la siguiente respuesta.

$(p + q)^2$ $p$ $q$ $2pq$ $pq$ $qp$ $pq$ $qp$

$N=3$ $(p + q + r)^3$ $pqr$ $q$ $p$ $r$

$N=3$ $pqr$

.

Extra:

Esto me hace pensar en la idea de simplemente muestrear mucho para estimar la probabilidad de cada resultado del dado. En este caso más simple de modelo de una capa sin capa oculta (un modelo conocido), podemos calcular un límite para concluir que la estimación converge rápidamente. De hecho, el límite de Chernoff nos muestra que el error disminuye exponencialmente a medida que aumenta el muestreo (linealmente).

$\prod_{i=1}^{i=n} p_i$ (o cualquier término que use como secuencia basada ) Esto será un poco más eficiente porque se usarán más términos en la expansión. Pero admito que no sé si esto dará como resultado el menor número de llamadas al oráculo para tener una garantía sobre las condiciones previas (como el parámetro de confianza), si se dan.

Sin embargo, este enfoque es una respuesta a un sabor diferente de la pregunta. La pregunta pide una imparcialidad perfecta garantizada a costa de un muestreo potencialmente grande (aunque de baja probabilidad). Este enfoque solo utiliza muestreo finito con límite en el parámetro de confianza. Por lo tanto, no creo que este enfoque sea apropiado para esta pregunta aunque sea muy interesante.

— InformadoA
fuente