Distribución de probabilidad para diferentes probabilidades.

Si quisiera obtener la probabilidad de 9 éxitos en 16 ensayos con cada ensayo con una probabilidad de 0.6, podría usar una distribución binomial. ¿Qué podría usar si cada uno de los 16 ensayos tiene una probabilidad diferente de éxito?

Esta es la suma de 16 (presumiblemente independientes) ensayos binomiales. El supuesto de independencia nos permite multiplicar las probabilidades. Por lo tanto, después de dos pruebas con probabilidades y de éxito, la probabilidad de éxito en ambas pruebas es , la probabilidad de no tener éxito es , y la probabilidad de un éxito es . Esa última expresión debe su validez al hecho de que las dos formas de obtener exactamente un éxito son mutuamente excluyentes: a lo sumo, una de ellas puede suceder. Eso significa que sus probabilidades se suman .$p_1$$p_2$$p_1 p_2$$(1-p_1)(1-p_2)$$p_1(1-p_2) + (1-p_1)p_2$

Por medio de estas dos reglas - probabilidades independientes se multiplican y mutuamente exclusivos añaden los - se puede trabajar las respuestas para, por ejemplo, 16 ensayos con probabilidades . Para hacerlo, debe tener en cuenta todas las formas de obtener cada número dado de éxitos (como 9). Hay maneras de lograr éxitos 9. Uno de ellos, por ejemplo, ocurre cuando los ensayos 1, 2, 4, 5, 6, 11, 12, 14 y 15 son éxitos y los otros son fracasos. Los éxitos habían probabilidades y y los fracasos tenían probabilidades . Multiplicar estos 16 números da la oportunidad($p_1, \ldots, p_{16}$$\binom{16}{9} = 11440$$p_1, p_2, p_4, p_5, p_6, p_{11}, p_{12}, p_{14},$$p_{15}$$1-p_3, 1-p_7, \ldots, 1-p_{13}, 1-p_{16}$de esta secuencia particular de resultados. Sumar este número junto con los 11,439 números restantes da la respuesta.

Por supuesto que usarías una computadora.

Con muchos más de 16 ensayos, hay una necesidad de aproximar la distribución. No proporcionado de las probabilidades y sea demasiado pequeña, una aproximación normal tiende a funcionar bien. Con este método se tenga en cuenta que la expectativa de la suma de ensayos es y (debido a que los ensayos son independientes) la varianza es . A continuación, pretendas la distribución de sumas es normal con media y la desviación estándar . Las respuestas tienden a ser bueno para las probabilidades de computación que corresponden a una proporción de éxitos que difiere de$p_i$$1-p_i$$n$$\mu = p_1 + p_2 + \cdots + p_n$$\sigma^2 = p_1(1-p_1) + p_2(1-p_2) + \cdots + p_n(1-p_n)$$\mu$$\sigma$$\mu$ por no más de unos pocos múltiplos de . A medida que aumenta de tamaño esta aproximación se pone cada vez más precisa y trabaja para múltiplos aún mayores de lejos de .n σ $\sigma$$n$$\sigma$$\mu$

Una alternativa a la aproximación normal de @ whuber es usar probabilidades de "mezcla" o un modelo jerárquico. Esto se aplicaría cuando los son similares de alguna manera, y puede modelar esto mediante una distribución de probabilidad con una función de densidad de indexada por algún parámetro . obtienes una ecuación integral:p i ∼ D i s t ( θ $p_i$$p_i\sim Dist(\theta)$$g(p|\theta)$$\theta$

$$Pr(s=9|n=16,\theta)={16 \choose 9}\int_{0}^{1} p^{9}(1-p)^{7}g(p|\theta)dp$$

La probabilidad binomial proviene de establecer , la aproximación normal proviene de (creo) establecer (con y como se define en la respuesta de @ whuber) y luego anota el " las colas "de este PDF se caen bruscamente alrededor del pico.g ( p | θ ) = g ( p | μ , σ ) = $g(p|\theta)=\delta(p-\theta)$μ$g(p|\theta)=g(p|\mu,\sigma)=\frac{1}{\sigma}\phi\left(\frac{p-\mu}{\sigma}\right)$$\mu$$\sigma$

También podría usar una distribución beta, que conduciría a una forma analítica simple, y que no tiene por qué sufrir el problema de "pequeña p" que tiene la aproximación normal, ya que la beta es bastante flexible. Usando una distribución con establecida por las soluciones a las siguientes ecuaciones (estas son las estimaciones de "divergencia mínima KL"):α , $beta(\alpha,\beta)$$\alpha,\beta$

ψ(β)-ψ(α+β)=

$$\psi(\alpha)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[p_{i}]$$ $$\psi(\beta)-\psi(\alpha+\beta)=\frac{1}{n}\sum_{i=1}^{n}log[1-p_{i}]$$

Donde Es la función digamma, estrechamente relacionada con las series armónicas.$\psi(.)$

Obtenemos la distribución del compuesto "beta-binomial":

$${16 \choose 9}\frac{1}{B(\alpha,\beta)}\int_{0}^{1} p^{9+\alpha-1}(1-p)^{7+\beta-1}dp ={16 \choose 9}\frac{B(\alpha+9,\beta+7)}{B(\alpha,\beta)}$$

Esta distribución converge hacia una distribución normal en el caso en que @whuber señala, pero debería dar respuestas razonables para pequeña y sesgada , pero no para multimodal , ya que la distribución beta solo tiene un pico. Pero puede solucionar esto fácilmente, simplemente usando distribuciones beta para los modosDivide la integral de en piezas para que cada pieza tenga un modo único (y suficientes datos para estimar los parámetros), y ajuste una distribución beta dentro de cada pieza. luego sume los resultados, observando que haciendo el cambio de variables parap i p i M M 0 < p < 1 M p = x - $n$$p_i$$p_i$$M$$M$$0<p<1$$M$ L<x<$p=\frac{x-L}{U-L}$$L<x<U$ la beta integral se transforma en:

$$B(\alpha,\beta)=\int_{L}^{U}\frac{(x-L)^{\alpha-1}(U-x)^{\beta-1}}{(U-L)^{\alpha+\beta-1}}dx$$

Deje ~ con función generadora de probabilidad (pgf): B e r n o u l l i ( p i$X_i$$Bernoulli(p_i)$

$$\text{pgf} = E[t^{X_i}] = 1 - p_i (1-t)$$

Supongamos que denota la suma de variables aleatorias independientes. Entonces, el pgf para la suma de tales variables es: n S n = $S = \sum_{i=1}^n X_i$$n$$S$$n=16$

$$\begin{align*}\displaystyle \text{pgfS} &= E[t^S] \\&= E[t^{X_1}] E[t^{X_2}] \dots E[t^{X_{16}}] \text{ (... by independence)} \\ &= \prod _{i=1}^{16} \left(1-p_i(1-t) \right)\end{align*}$$

Buscamos , que es:$P(S=9)$

$$\frac{1}{9!}\frac{d^9 \text{pgfS}}{dt^9}|_{t=0}$$

TODO LISTO. Esto produce la solución simbólica exacta en función de . La respuesta es bastante larga para imprimir en la pantalla, pero es completamente manejable y toma menos de de segundo para evaluar el uso de Mathematica en mi computadora.$p_i$$\frac{1}{100}$

Ejemplos

Si , entonces: $p_i = \frac{i}{17}, i= 1 \text{ to } 16$$P(S=9) = \frac{9647941854334808184}{48661191875666868481} = 0.198268 \dots$

Si , entonces: $p_i = \frac{\sqrt{i}}{17}, i= 1 \text{ to } 16$$P(S=9) = 0.000228613 \dots$

¿Más de 16 ensayos?

Con más de 16 ensayos, no hay necesidad de aproximar la distribución. El método exacto anterior funciona con la misma facilidad para ejemplos con digamos o . Por ejemplo, cuando , se tarda menos de de segundo para evaluar todo el pmf ( es decir, en cada valor ) utilizando el código a continuación.$n = 50$$n = 100$$n = 50$$\frac{1}{10}$$s = 0, 1, \dots, 50$

Código de Mathematica

Dado un vector de valores , diga:$p_i$

n = 16;   pvals = Table[Subscript[p, i] -> i/(n+1), {i, n}];

... aquí hay un código de Mathematica para hacer todo lo necesario:

pgfS = Expand[ Product[1-(1-t)Subscript[p,i], {i, n}] /. pvals];
D[pgfS, {t, 9}]/9! /. t -> 0  // N

0.198268

Para derivar todo el pmf:

Table[D[pgfS, {t,s}]/s! /. t -> 0 // N, {s, 0, n}]

... o use el más limpio y rápido (gracias a una sugerencia de Ray Koopman a continuación):

CoefficientList[pgfS, t] // N

Para un ejemplo con , toma solo 1 segundo calcular , y luego 0.002 segundos derivar todo el uso de pmf , por lo que es extremadamente eficiente.$n = 1000$pgfSCoefficientList

El comentario de @wolfies, y mi intento de respuesta reveló un problema importante con mi otra respuesta, que discutiré más adelante.

Caso específico (n = 16)

Hay una manera bastante eficiente de codificar la distribución completa utilizando el "truco" de usar números de base 2 (binarios) en el cálculo. Solo requiere 4 líneas de código R para obtener la distribución completa de donde . Básicamente, hay un total de elecciones del vector que las variables binarias podrían tomar. Ahora supongamos que numeramos cada opción distinta desde hasta . Esto por sí solo no es nada especial, pero ahora supongamos que representamos el "número de elección" usando la aritmética de base 2. Ahora tome para poder escribir todas las opciones para que haya$Y=\sum_{i=1}^{n} Z_i$$Pr(Z_i=1)=p_i$$2^n$$z=(z_1,\dots,z_n)$$Z_i$$1$$2^n$$n=3$$2^3=8$opciones Entonces en "números ordinarios" se convierte en en "números binarios". Ahora supongamos que los escribimos como números de cuatro dígitos, entonces tenemos . Ahora observe los últimos dígitos de cada número: puede considerarse como , etc. El conteo en forma binaria proporciona una manera eficiente de organizar la suma. . Afortunadamente, hay una función R que puede hacer esta conversión binaria por nosotros, llamada y convertimos la forma binaria en bruto en una vía numérica , luego obtendremos un vector con$1,2,3,4,5,6,7,8$$1,10,11,100,101,110,111,1000$$0001,0010,0011,0100,0101,0110,0111,1000$$3$$001$$(Z_1=0,Z_2=0,Z_3=1)\implies Y=1$intToBits(x)as.numeric(intToBits(x))$32$elementos, cada elemento es el dígito de la versión base 2 de nuestro número (leer de derecha a izquierda, no de izquierda a derecha). Usando este truco combinado con algunas otras vectorizaciones R, podemos calcular la probabilidad de que en 4 líneas de código R:$y=9$

exact_calc <- function(y,p){
    n       <- length(p)
    z       <- t(matrix(as.numeric(intToBits(1:2^n)),ncol=2^n))[,1:n] #don't need columns n+1,...,32 as these are always 0
    pz      <- z%*%log(p/(1-p))+sum(log(1-p))
    ydist   <- rowsum(exp(pz),rowSums(z))
    return(ydist[y+1])
}

Al conectar la caja uniforme y la caja raíz sqrt obtiene una distribución completa para y como:$p_i^{(1)}=\frac{i}{17}$$p_i^{(2)}=\frac{\sqrt{i}}{17}$

$$\begin{array}{c|c}y & Pr(Y=y|p_i=\frac{i}{17}) & Pr(Y=y|p_i=\frac{\sqrt{i}}{17})\\ \hline 0 & 0.0000 & 0.0558 \\ 1 & 0.0000 & 0.1784 \\ 2 & 0.0003 & 0.2652 \\ 3 & 0.0026 & 0.2430 \\ 4 & 0.0139 & 0.1536 \\ 5 & 0.0491 & 0.0710 \\ 6 & 0.1181 & 0.0248 \\ 7 & 0.1983 & 0.0067 \\ 8 & 0.2353 & 0.0014 \\ 9 & 0.1983 & 0.0002 \\ 10 & 0.1181 & 0.0000 \\ 11 & 0.0491 & 0.0000 \\ 12 & 0.0139 & 0.0000 \\ 13 & 0.0026 & 0.0000 \\ 14 & 0.0003 & 0.0000 \\ 15 & 0.0000 & 0.0000 \\ 16 & 0.0000 & 0.0000 \\ \end{array}$$

Entonces, para el problema específico de éxitos en ensayos, los cálculos exactos son sencillos. Esto también funciona para una serie de probabilidades de hasta aproximadamente ; más allá de eso, es probable que comience a encontrarse con problemas de memoria, y se necesitan diferentes trucos informáticos.$y$$16$$n=20$

Tenga en cuenta que al aplicar mi "distribución beta" sugerida obtenemos estimaciones de parámetros de y esto da una estimación de probabilidad que es casi uniforme en , dando un valor aproximado de . Esto parece extraño dado que una densidad de una distribución beta con se aproxima mucho al histograma de los valores de . ¿Qué salió mal?$\alpha=\beta=1.3206$$y$$pr(y=9)=0.06799\approx\frac{1}{17}$$\alpha=\beta=1.3206$$p_i$

Caso general

Ahora analizaré el caso más general y por qué falló mi aproximación beta simple. Básicamente, al escribir y luego mezclar sobre con otra distribución realidad está haciendo una suposición importante: que podemos aproximar la probabilidad real con Una probabilidad binomial única: el único problema que queda es qué valor de usar. Una forma de ver esto es usar la densidad de mezcla que es discreta uniforme sobre el real . Por lo tanto, reemplazamos la distribución beta con una densidad discreta de$(y|n,p)\sim Binom(n,p)$$p$$p\sim f(\theta)$$p$$p_i$$p\sim Beta(a,b)$$p\sim \sum_{i=1}^{16}w_i\delta(p-p_i)$. Luego, el uso de la aproximación de mezcla se puede expresar en palabras como elegir un valor con probabilidad , y asumir que todos los ensayos de Bernoulli tienen esta probabilidad$p_i$$w_i$ . Claramente, para que tal aproximación funcione bien, la mayoría de los valores de deberían ser similares entre sí. Esto básicamente significa que para la distribución uniforme de valores de @wolfies, resulta en una aproximación lamentablemente mala cuando se usa la distribución de mezcla beta. Esto también explica por qué la aproximación es mucho mejor para : están menos dispersos.$p_i$$p_i=\frac{i}{17}$$p_i=\frac{\sqrt{i}}{17}$

La mezcla luego usa la observada para promediar todas las opciones posibles de una sola . Ahora, como "mezclar" es como un promedio ponderado, no puede ser mejor que usar el mejor . Entonces, si los están suficientemente extendidos, no puede haber un solo que pueda proporcionar una buena aproximación a todos los .$p_i$ $p$$p$$p_i$$p$$p_i$

Una cosa que dije en mi otra respuesta fue que puede ser mejor usar una mezcla de distribuciones beta en un rango restringido, pero esto todavía no ayudará aquí porque todavía se está mezclando en una sola . Lo que tiene más sentido es dividir el intervalo en partes y tener un binomio dentro de cada pieza. Por ejemplo, podríamos elegir como nuestras divisiones y ajustar nueve binomios dentro de cada rango de probabilidad . Básicamente, dentro de cada división, tendríamos adaptarse a una aproximación simple, como el uso de una binomial con probabilidad igual a la media de la$p$$(0,1)$$(0,0.1,0.2,\dots,0.9,1)$$0.1$$p_i$en ese rango Si hacemos los intervalos lo suficientemente pequeños, la aproximación se vuelve arbitrariamente buena. Pero tenga en cuenta que todo esto hace que tengamos que lidiar con una suma de ensayos binomiales independientes con diferentes probabilidades, en lugar de ensayos de Bernoulli . Sin embargo, la parte anterior de esta respuesta mostró que podemos hacer los cálculos exactos siempre que el número de binomios sea lo suficientemente pequeño, digamos 10-15 más o menos.

Para extender la respuesta basada en bernoulli a una respuesta basada en binomio, simplemente "reinterpretamos" cuáles son las variables . Simplemente que : esto se reduce al Z_i original basado en pero ahora dice de qué binomios provienen los éxitos. Por lo tanto, el caso ahora significa que todos los "éxitos" provienen del tercer binomio, y ninguno de los dos primeros.$Z_i$$Z_i=I(X_i>0)$$Z_i$$(Z_1=0,Z_2=0,Z_3=1)$

Tenga en cuenta que esto sigue siendo "exponencial", ya que el número de cálculos es algo así como donde es el número de binomios, es el tamaño del grupo, por lo que tiene donde . Pero esto es mejor que el que estaría tratando con mediante el uso de variables aleatorias de Bernoulli. Por ejemplo, supongamos que dividimos las probabilidades en grupos con probabilidades en cada grupo. Esto da cálculos, en comparación con$k^g$$g$$k$$Y\approx\sum_{j=1}^{g}X_j$$X_j\sim Bin(k,p_j)$$2^{gk}$$n=16$$g=4$$k=4$$4^4=256$$2^{16}=65536$

Al elegir grupos, y observando que el límite era de aproximadamente que es de aproximadamente celdas, podemos utilizar efectivamente este método para aumentar el máximo de a .$g=10$$n=20$$10^7$$n$$n=50$

Si hacemos una aproximación más cruda, al bajar , aumentaremos el tamaño "factible" para . significa que puede tener un efectivo de aproximadamente . Más allá de esto, la aproximación normal debe ser extremadamente precisa.$g$$n$$g=5$$n$$125$

El pmf (en general intratable) es Código R:

$$\Pr(S=k) = \sum_{\substack{A\subset\{1,\dots,n\}\\ |A|=k}} \left( \prod_{i\in A} p_i \right)\left(\prod_{j\in \{1,\dots,n\}\setminus A} (1-p_j) \right) \, .$$

p <- seq(1, 16) / 17
cat(p, "\n")
n <- length(p)
k <- 9
S <- seq(1, n)
A <- combn(S, k)
pr <- 0
for (i in 1:choose(n, k)) {
    pr <- pr + exp(sum(log(p[A[,i]])) + sum(log(1 - p[setdiff(S, A[,i])])))
}
cat("Pr(S = ", k, ") = ", pr, "\n", sep = "")

Para la respuesta de usada en wolfies, tenemos:$p_i$

Pr(S = 9) = 0.1982677

Cuando crece, usa una convolución .$n$