¿Cómo generar una cantidad no entera de éxitos consecutivos de Bernoulli?

Dado:

1. Una moneda con sesgo desconocido (Cabeza).$p$
2. Un real estrictamente positivo .$a > 0$

Problema:

Genere una variante aleatoria de Bernoulli con sesgo .$p^{a}$

¿Alguien sabe como hacer esto? Por ejemplo, cuando es un número entero positivo, uno puede voltear la moneda vez y ver si todos los resultados fueron Cargos: si son emitidos '0', de lo contrario emiten '1'. La dificultad radica en el hecho de que no es necesariamente un número entero. Además, si supiera el sesgo , podría construir otra moneda con el sesgo deseado. $a$$a$$a$$p$

Podemos resolver esto mediante un par de "trucos" y un poco de matemática.

Aquí está el algoritmo básico:

1. Generar una variable aleatoria geométrica con probabilidad de éxito $p$ .
2. El resultado de esta variable aleatoria determina un valor conocido fijo $f_n \in [0,1]$ .
3. Genere una variable aleatoria $\mathrm{Ber}(f_n)$ utilizando lanzamientos de moneda justos generados a partir de lanzamientos emparejados en bloque de nuestra moneda $\mathrm{Ber}(p)$ .
4. El resultado resultante será $\mathrm{Ber}(p^a)$ para cualquier $a \in (0,1)$ , que es todo lo que necesitamos.

Para hacer las cosas más digeribles, las dividiremos en pedazos.

Pieza 1 : Sin pérdida de generalidad, suponga que $0 < a < 1$ .

Si , entonces, podemos escribir p a = p n p b para algún número entero positivo n y algunos 0 ≤ b < 1 . Pero, para cualesquiera dos Bernoulli independientes, tenemos P ( X 1 = X 2 = 1 ) = p 1 p $a \geq 1$$p^a = p^n p^b$$n$$0 \leq b < 1$

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ Podemos generar un$p^n$ Bernoulli de nuestra moneda de la manera obvia. Por lo tanto, solo debemos preocuparnos por generar$\mathrm{Ber}(p^a)$ cuando$a \in (0,1)$ .

Pieza 2 : saber cómo generar un arbitraria $\mathrm{Ber}(q)$ de la moneda al aire voltea.

Hay una forma estándar de hacer esto. Expande $q = 0.q_1 q_2 q_3 \ldots$ en su expansión binaria y luego usa nuestros lanzamientos de monedas para "igualar" los dígitos de $q$ . La primera coincidencia determina si declaramos un éxito ("cara") o un fracaso ("cruz"). Si $q_n = 1$ y nuestro lanzamiento de moneda es cara, declare cara, si $q_n = 0$ y nuestro lanzamiento de moneda es cruz, declare cruz. De lo contrario, considere el dígito posterior contra un nuevo lanzamiento de moneda.

Pieza 3 : Sepa cómo generar un lanzamiento de moneda justo a partir de los injustos con sesgo desconocido.

Esto se hace, suponiendo $p \in (0,1)$ , volteando la moneda en pares. Si obtenemos $HT$ , declare un cara; si obtenemos $TH$ , declaramos una cola y, de lo contrario, repite el experimento hasta que ocurra uno de los dos resultados antes mencionados. Ellos son igualmente probables, así que deben tener probabilidad $1/2$ .

Pieza 4 : Algunas matemáticas. (Taylor al rescate).

Al expandir alrededor de p 0 = 1 , el teorema de Taylor afirma que p a = 1 - a ( 1 - p ) - a ( 1 - a $h(p) = p^a$$p_0 = 1$ Tenga en cuenta que debido a que 0 < a < 1 , cada término después del primero esnegativo, por lo que tenemos p a = 1 - ∞ ∑ n = 1 b n ( 1 - p )

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$ donde 0 ≤ b n ≤ 1 se conocena priori. Por lo tanto, 1 - p a = ∞ ∑ n = 1 b n ( 1 - p ) n = ∞ ∑ n = 1 b n P ( G ≥ n ) = ∞ ∑ n = 1 f n P ( G = n ) = $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ donde G ~ G e o m ( p ) , f 0 = 0 y f n = Σ n k = 1 b k para n ≥ 1 . $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ $G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

Y, ya sabemos cómo usar nuestra moneda para generar una variable aleatoria geométrica con probabilidad de éxito .$p$

Pieza 5 : Un truco de Monte Carlo.

Sea una variable aleatoria discreta que toma valores en [ 0 , 1 ] con P ( X = x n ) = p n . Deje U ∣ X ∼ B e r ( X ) . Entonces P ( U = 1 ) = ∑ n x n p n$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

Pero, tomando y x n = f n , ahora vemos cómo generar una variable aleatoria B e r ( 1 - p a ) y esto es equivalente a generar una B e r ( p a ) uno.$p_n = p(1-p)^n$$x_n = f_n$$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

¿Es tonta la siguiente respuesta?

Si son independientes B e r ( p ) e Y n tiene distribución B e r ( ( ∑ n i = 1 X i / n ) a ) , entonces Y n se distribuirá aproximadamente como B e r ( p a ) , cuando n → ∞ .$X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$$n\to\infty$

Por lo tanto, si no conoce , pero puede lanzar esta moneda muchas veces, es posible tomar muestras (aproximadamente) de una variable aleatoria B e r ( p a ) .$p$$\mathrm{Ber}(p^a)$

RCódigo de ejemplo :

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

Resultados:

p^a = 0.01234568 
est = 0.012291 

Publiqué la siguiente exposición de esta pregunta y la respuesta del cardenal en el foro de discusión general de la clase actual de Combinatoria analítica en Coursera, "Aplicación de series de potencia para construir una variable aleatoria". Estoy publicando una copia aquí como wiki de la comunidad para que esté disponible públicamente y de forma más permanente.

---

Hubo una pregunta y respuesta interesantes en stat.stackexchange.com relacionadas con las series de potencia: "¿Cómo generar una cantidad no entera de éxitos consecutivos de Bernoulli?" Parafrasearé la pregunta y la respuesta del cardenal.

Supongamos que tenemos una moneda posiblemente injusta que es cara con probabilidad , y un número real positivo α . ¿Cómo podemos construir un evento cuya probabilidad es p α ?$p$$\alpha$$p^\alpha$

Si fuera un entero positivo, podríamos lanzar la moneda α veces y dejar que el evento sea que todos los lanzamientos fueron caras. Sin embargo, si α no es un entero, por ejemplo 1 / 2 , entonces esto no tiene sentido, pero podemos utilizar esta idea para reducir al caso de que 0 < α < 1 . Si queremos construir un evento cuya probabilidad sea p 3.5 , tomamos la intersección de eventos independientes cuyas probabilidades son p 3 y p 0.5 .$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$

Una cosa que podemos hacer es construir un evento con cualquier probabilidad conocida . Para hacer esto, podemos construir una corriente de bits justas por voltear repetidamente la moneda dos veces, la lectura H T como 1 y T H como 0 , y haciendo caso omiso H H y T T . Comparamos esta secuencia con la expansión binaria de p ′ = 0. a 1 a 2 a 3 . . . $p' \in [0,1]$$HT$$1$$TH$$0$$HH$$TT$$p' = 0.a_1a_2a_3..._2$. El evento de que el primer desacuerdo es donde tiene probabilidad p ' . No sabemos p α , por lo que no podemos usar esto directamente, pero será una herramienta útil.$a_i=1$$p'$$p^\alpha$

La idea principal es que nos gustaría utilizar la serie de potencias para dondep=1-q. Podemos construir eventos cuyas probabilidades sonqnvolteando la monedanveces y ver si son todas colas, y podemos producir un evento con probabilidadp′qncomparando los dígitos binarios dep′con un flujo de bits justo como el anterior y verificar sinlanzamientos son todos colas.$p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$$p=1-q$$q^n$$n$$p' q^n$$p'$$n$

Construya una variable aleatoria geométrica con el parámetro p . Este es el número de colas antes de la primera cabeza en una secuencia infinita de lanzamientos de monedas. P ( G = n ) = ( 1 - p ) n p = q n p . (Algunas personas usan una definición que difiere en 1 ).$G$$p$$P(G=n) = (1-p)^np = q^n p$$1$

Dada una secuencia , Podemos producir t G : voltear la moneda hasta que la primera cabeza, y si hay G colas antes de la primera cabeza, tomar el elemento de la secuencia de índice G . Si cada t n ∈ [ 0 , 1 ] , podemos comparar t G con una variable aleatoria uniforme en [ 0 , 1 ] (construida como anteriormente) para obtener un evento con probabilidad E [ $t_0, t_1, t_2, ...$$t_G$$G$$G$$t_n \in [0,1]$$t_G$$[0,1]$ .$E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$

Esto es casi lo que necesitamos. Nos gustaría eliminar esa para usar la serie de potencias para p α en q .$p$$p^\alpha$$q$

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Consider $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$. Let $t_n$ be the sum of the coefficients of $q$ through $q^n$. Then $1-p^\alpha = \sum_n t_n q^n p$. Each $t_n\in [0,1]$ since the coefficients are positive and sum to $1-0^\alpha = 1$, so we can construct an event with probability $1-p^\alpha$ by comparing a fair bit stream with the binary expansion of $t_G$. The complement has probability $p^\alpha$ as required.

---

Again, the argument is due to cardinal.

The very complete answer by cardinal and subsequent contributions inspired the following remark/variant.

Let PZ stand "Probability of Zero" and $q:=1-p$. If $X_n$ is an iid Bernoulli sequence with PZ $q$, then $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ is a Bernoulli r.v. with PZ $q^n$. Now making $n$ random i.e., replacing it by an integer rv $N \geq 1$ leads to Bernoulli rv $M_N$ with

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ So if $0 < a < 1$ and if we take $\mathrm{Pr}\{N =n\} =b_n$ from cardinal's answer, we find $\mathrm{Pr}\{M_N =0\} = 1- p^a$ and $1-M_N$ is $\mathrm{Ber}(p^a)$ as wanted. This is indeed possible since the coefficients $b_n$ satisfy $b_n \geqslant 0$ and they sum to $1$.

The discrete distribution of $N$ depends only on $a$ with $0 < a < 1$, recall

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ It has interesting features. It turns out to have an infinite expectation and an heavy tail behaviour $n \,b_n \sim c/n^a$ with $c = -1/\Gamma(-a) >0$.

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$. The number of computed $X_k$ is geometrically distributed.