Resolver analíticamente el muestreo con o sin reemplazo después de Poisson / binomio negativo

Version corta

Estoy tratando de resolver / aproximar analíticamente la probabilidad compuesta que resulta de los sorteos independientes de Poisson y el muestreo adicional con o sin reemplazo (realmente no me importa cuál). Quiero usar la probabilidad con MCMC (Stan), por lo que necesito la solución solo hasta un término constante. En última instancia, quiero modelar un proceso donde los sorteos iniciales son de neg. distribución binomial, pero creo que podré llegar allí con una solución para el caso de Poisson.

Es muy posible que la solución no sea factible (no entiendo las matemáticas lo suficiente como para saber si se trata de un problema simple o muy difícil). Por lo tanto, también me interesan las aproximaciones, los resultados negativos o la intuición de por qué el problema es probablemente insoluble (por ejemplo, en comparación con un problema difícil conocido). Los enlaces a documentos / teoremas / trucos útiles que me ayudarán a avanzar son buenas respuestas, incluso si su conexión con el problema en cuestión no está completamente resuelta.

Declaración formal

Más formalmente, primero se dibuja de forma independiente y luego muestro elementos al azar de todos los para obtener . Es decir, dibujo bolas de colores de una urna donde la cantidad de bolas de color se extrae de . Aquí, se supone conocido y fijo y condicionamos . Técnicamente, el muestreo se realiza sin reemplazo, pero asumir que el muestreo con reemplazo no debería ser un gran problema.$Y = (y_1, ..., y_N), y_n \sim Pois(\lambda_n)$$k$$Y$$Z = (z_1,...,z_N)$$k$$n$$Pois(\lambda_n)$$k$$\sum_n y_n \geq k$

He intentado dos enfoques para resolver el muestreo sin reemplazo (ya que este parecía ser el caso más fácil debido a la cancelación de algunos términos), pero me quedé atascado con ambos. La probabilidad al tomar muestras sin reemplazo es:

EDITAR: La sección "soluciones intentadas se eliminó porque la solución en la respuesta no se basa en ellas (y es mucho mejor)

El caso sin reemplazo

Si tiene variables distribuidas independientes de Poisson$n$

y condición en

entonces

Por lo tanto, puede llenar su urna con veces bolas de colores , como dibujar primero el valor para el total (que es el límite distribuido de Poisson por la condición ) y luego llenar la urna con bolas de acuerdo con la distribución multinomial.$n$$Y_i$$K$$K \geq k$$K$

Este llenado de la urna con bolas, de acuerdo con una distribución multinomial, es equivalente a dibujar para cada bola independientemente el color de la distribución categórica. Luego puede considerar las primeras bolas que se han agregado a la urna como la definición de la muestra aleatoria (cuando esta muestra se extrae sin reemplazo) y la distribución para esto es solo otro vector distribuido multinomial: $K$$k$$\lbrace Z_i \rbrace$

simulación

##### simulating sample process for 3 variables #######


# settings
set.seed(1)
k = 10
lambda = c(4, 4, 4)
trials = 1000000

# observed counts table
Ocounts = array(0, dim = c(k+1, k+1, k+1))

for (i in c(1:trials)) {
  # draw poisson with limit sum(n) >= k
  repeat {
    Y = rpois(3,lambda)
    if (sum(Y) >= k) {break}
  }
  # setup urn
  urn <- c(rep(1, Y[1]), rep(2, Y[2]), rep(3, Y[3]))
  # draw from urn
  s <- sample(urn, k, replace=0)
  Z = c(sum(s==1),sum(s==2),sum(s==3))
  Ocounts[Z[1]+1, Z[2]+1, Z[3]+1] = Ocounts[Z[1]+1, Z[2]+1, Z[3]+1] + 1
}



# comparison
observed = rep(0, 0.5*k*(k+1))
expected = rep(0, 0.5*k*(k+1))   
t = 1

for (z1 in c(0:k)) {
  for (z2 in c(0:(k-z1))) {  
    z3 = k-z1-z2 
    observed[t] = Ocounts[z1+1, z2+1, z3+1]
    expected[t] = trials*dmultinom(c(z1, z2, z3), prob=lambda)
    t = t+1
  }
}

plot(observed,expected)
x2 <- sum((observed-expected)^2/expected)
pvalue <- 1-pchisq(x2, 66-1)

resultados

> # results from chi-sq test
> x2
[1] 75.49286
> pvalue
[1] 0.1754805

Binomio negativo

Los argumentos funcionarían igual para el caso de una distribución binomial negativa que resulta ( bajo ciertas condiciones ) en una distribución multinomial de Dirichlet.

A continuación se muestra un ejemplo de simulación.

##### simulating sample process for 3 variables #######

# dirichlet multinomial for vectors of size 3
ddirmultinom =  function(x1,x2,x3,p1,p2,p3) {
  (factorial(x1+x2+x3)*gamma(p1+p2+p3)/gamma(x1+x2+x3+p1+p2+p3))/
  (factorial(x1)*gamma(p1)/gamma(x1+p1))/
  (factorial(x2)*gamma(p2)/gamma(x2+p2))/
  (factorial(x3)*gamma(p3)/gamma(x3+p3))
}

# settings
set.seed(1)
k = 10
theta = 1
lambda = c(4,4,4)
trials = 1000000

# calculating negative binomials pars
means = lambda
vars = lambda*(1+theta)

ps = (vars-means)/(vars)
rs = means^2/(vars-means)


# observed counts table
Ocounts = array(0, dim = c(k+1,k+1,k+1))

for (i in c(1:trials)) {
  # draw poisson with limit sum(n) >= k
  repeat {
    Y = rnbinom(3,rs,ps)
    if (sum(Y) >= k) {break}
  }
  # setup urn
  urn <- c(rep(1,Y[1]),rep(2,Y[2]),rep(3,Y[3]))
  # draw from urn
  s <- sample(urn,k,replace=0)
  Z = c(sum(s==1),sum(s==2),sum(s==3))
  Ocounts[Z[1]+1,Z[2]+1,Z[3]+1] = Ocounts[Z[1]+1,Z[2]+1,Z[3]+1] + 1
}



# comparison
observed = rep(0,0.5*k*(k+1))
expected = rep(0,0.5*k*(k+1))   
t = 1

for (z1 in c(0:k)) {
  for (z2 in c(0:(k-z1))) {  
    z3 = k-z1-z2 
    observed[t]=Ocounts[z1+1,z2+1,z3+1]
    expected[t]=trials*ddirmultinom(z1,z2,z3,lambda[1]/theta,lambda[2]/theta,lambda[3]/theta)
    t = t+1
  }
}

plot(observed,expected)
x2 <- sum((observed-expected)^2/expected)
pvalue <- 1-pchisq(x2,66-1)

# results from chi-sq test
x2
pvalue