Estimación de parámetros para un binomio

En primer lugar, me gustaría precisar que no soy un experto en el tema.

Suponga que tiene dos variables aleatorias e que son binomiales, respectivamente e observe aquí que es igual. Sé que$X$$Y$$X\sim B(n_1,p)$$Y\sim B(n_2,p),$$p$$Z=X+Y \sim B(n_1+n_2,p).$

Sea una muestra para y sea ​​una muestra para , ¿existe un método estándar para estimar y ?$\{x_1,\ldots,x_k\}$$X$$\{y_1,\ldots,y_k\}$$Y$$n=n_1+n_2$$p$

Esto es lo que hemos hecho:

1. tome la "nueva muestra" para dada por ,$Z$$\{x_1+y_1,\ldots, x_k+y_k\}$
2. usando el Estimador de verosimilitud, obtenemos estimaciones para y ,$n$$p$
3. con la información de Fisher, tratamos de entender los errores más de y .$n$$p$

El método parece funcionar, pero aún tenemos algunas dudas. Deje el grupo de permutación sobre elementos. Para cada podemos considerar la "muestra" dada porAplicando el Estimador de verosimilitud para cada una de las "nuevas muestras" (hay Diferentes sumas) obtenemos una estimación diferente para y .$S_k$$k$$\sigma\in S_k$$\{x_1+y_{\sigma(1)},\dots, x_k+y_{\sigma(k)}\}.$$k!$$(n_\sigma,p_\sigma)$$n$$p$

¿Cuál es el significado de este? ¿Cómo se correlacionan los nuevos valores ? Se puede usar para calcular el error para ?$n_\sigma, p_\sigma$$n$

Algunos comentarios: la pregunta se publicó anteriormente aquí , pero un usuario me sugiere que use tats / crossvalidated SE.

En el ejemplo que tengo en mente, es el número de pájaros en una región determinada y la probabilidad de visibilidad. Necesito agregar regiones con similar , de lo contrario, los datos son demasiado pequeños. En particular, necesito, si es posible, una estimación solo para , donde se desconoce a priori$n$$p$$p$$n$$p$

Un ejemplo Para ser claro y en vista de la respuesta de kjetil b halvorsen, intentaré poner aquí un ejemplo práctico. Supongamos que solo tenemos una región dividida en dos zonas con una probabilidad igual a una fija y nuestros datos son los siguientes:$p$

Zone 1   Zone 2
  a1      b1
  a2      b2
  a3      b3
  a4      b4
  a5      b5
  a6      b6

Entonces podemos considerar esto:

Zone 1+2
c1=a1+b1
c2=a2+b2
c3=a3+b3
   c4
   c5
   c6

Entonces podemos usar el método de loglikelihood para estimar y también donde es el parámetro para el binomio de las variables observadas en la Zona . ¿Es correcto?$N_1+N_2$$p$$N_i$$i$

Ahora, sé que el método de probabilidad no es estable (para mí estable significa solo bueno). ¿Podemos usar la información de Fisher? En caso afirmativo, ¿qué tipo de información podemos tener?

Finalmente, dejemos y dos permutaciones sobre elementos (hay parejas diferentes) de las que podemos considerar los nuevos datos dados por$\sigma$$\tau$$6$$(6!)^2$

Zona 1 + 2
c1 = a + b c2 = a + b c3 = a + b c4 = a + b c5 = a + b c6 = a + b$\sigma(1)$$\tau(1)$
$\sigma(2)$$\tau(2)$
$\sigma(3)$$\tau(3)$
$\sigma(4)$$\tau(4)$
$\sigma(5)$$\tau(5)$
$\sigma(6)$$\tau(6)$

Rehaciendo el método de probabilidad, con estas nuevas variables, obtenemos diferentes estimaciones para .$N_1+N_2$

Entonces la pregunta es: ¿el conjunto de estimación me da información sobre los errores?

Intentaré una respuesta, incluso si no tengo completamente clara la situación. ¡Las fórmulas tendrán que ser adaptadas! El problema de la estimación de en la distribución binomial es antiguo y existen múltiples documentos relevantes. Daré algunas referencias al final. $N$

Deje que haya regiones (en el ejemplo OP ), con muestras (de intervalos de tiempo disjuntos de igual longitud) de cada región. Las variables observadas son que son variables aleatorias binomiales independientes, cada una con la distribución ambas desconocidas. La función log-verosimilitud se convierte en Tenga en cuenta que, en el problema habitual cuando se conoce para que solo se desconozca , entonces la suma (o la media) de los conteos binomiales$R$$R=2$$T$$x_{it}$$\text{Bin}(N_i,p)$

$$\ell ( N_i , p ) = \sum \ln \binom{N_i}{x_{it}} + \ln p \cdot \sum x_{it} + \ln (1-p) \cdot \sum ( N_i - x_{it} )$$ $N_i$$p$$x_{it}$es un resumen suficiente, por lo que el análisis puede hacerse en términos de la distribución binomial de la suma. Sin embargo, en nuestro problema, debido al primer término en la función log-verosimilitud, tal no es el caso, ¡y la probabilidad logarítmica depende de cada uno de los recuentos individualmente! Entonces, lo que usted propone, para reducir a la suma de los recuentos (sobre ), NO DEBE HACERSE, ya que eso perderá información (cuánto, no sé, pero eso puede investigarse ...). Tratemos de entender esto un poco mejor. Primero, vemos a continuación que es un estimador consistente de$i$$\max_t(x_{it})$$N_i$, pero este estimador consistente no es una función de los recuentos sumados. ¡Esa es una clara indicación de que la suma pierde información! Tenga en cuenta también que la media es un estimador imparcial de su expectativa que es , pero no parece contener información sobre y individualmente, cuando no se sabe nada sobre el otro parámetro. Eso indica que si hay información útil sobre en la función de probabilidad, debe estar contenida en la distribución de los valores$N_i p$$N_i$$p$$N_i$$x_{i1}\dots, x_{iT}$, indicando nuevamente que la suma es mala. ¡El artículo de Olkin et al al que se hace referencia a continuación muestra que el estimador del método de momentos en muchos casos es mejor que la máxima probabilidad! y que utiliza la varianza empírica de los , por lo que no se pudo calcular a partir de los datos sumados.$x_{i1}\dots, x_{iT}$

Se sabe que este problema es inestable. Tratemos de entender por qué. En el problema habitual, al estimar cuando conocido, la estimación se puede hacer a partir de alguna característica general de los datos, la media. Cuando intentamos estimar tanto como , utilizamos propiedades mucho más finas de la función log-verosimilitud (por lo tanto, de los datos). Para ver por qué, recuerde que podemos obtener la distribución de Poisson como límite del binomio cuando va a cero y crece sin límites, con un producto positivo constante. Entonces, si es pequeño y$p$$N_i$$N_i$$p$$p$$N$$p$$N$grande, la distribución binomial estará bastante cerca de ese límite. Tome dos casos: (A) , (B) . Dibuje histogramas para las dos distribuciones (binomiales):$N=100, p=0.01$$N=20, p=0.05$

> zapsmall(cbind(0:20,pA,pB))
               pA       pB
 [1,]  0 0.366032 0.358486
 [2,]  1 0.369730 0.377354
 [3,]  2 0.184865 0.188677
 [4,]  3 0.060999 0.059582
 [5,]  4 0.014942 0.013328
 [6,]  5 0.002898 0.002245
 [7,]  6 0.000463 0.000295
 [8,]  7 0.000063 0.000031
 [9,]  8 0.000007 0.000003
[10,]  9 0.000001 0.000000
[11,] 10 0.000000 0.000000
[12,] 11 0.000000 0.000000
[13,] 12 0.000000 0.000000
[14,] 13 0.000000 0.000000
[15,] 14 0.000000 0.000000
[16,] 15 0.000000 0.000000
[17,] 16 0.000000 0.000000
[18,] 17 0.000000 0.000000
[19,] 18 0.000000 0.000000
[20,] 19 0.000000 0.000000
[21,] 20 0.000000 0.000000

Por encima de una tabla de estas probabilidades. Para detectar de los datos observados cuál de estas dos distribuciones tiene uno, es lo que se necesita para decidir, en este caso, si o si . Obviamente es bastante difícil, y la inestabilidad de los estimadores resultantes es de esperar. Este ejemplo también indicó que la inestabilidad es principalmente para pequeñas . Dices que esperas alrededor de 0.7, por lo que el problema podría ser más estable entonces. Puede investigar eso para sus datos encontrando el estimador de máxima verosimilitud en función de una conocida y graficando eso para$N=100$$N=20$$p$$p$$p$$p$en algún intervalo de confianza. O podría completar Bayes, este es un caso en el que incluso alguna información previa bastante vaga podría ser útil.

Los parámetros son de hecho estimables. Está claro que , por lo que es posible el uso de ese conteo máximo, como un estimador de . Ese estimador será fuertemente consistente, y un parámetro con un estimador consistente debe ser estimable. Pero, como muestra el ejemplo anterior, la estimabilidad es casi una formalidad; en la práctica, las distribuciones con muy diferentes son muy cercanas, por lo que es muy débilmente estimable.$N_i \ge \max_t(x_{it})$$N$$N$$N$

No daré detalles de los métodos de estimación aquí, pero daré algunas referencias que puede consultar:

Ingram Olkin, A John Petkau, James V Zidek: Una comparación de los estimadores de N para la distribución binomial. JASA 1981. Este es un artículo clásico que desarrolla y analiza estimadores de ML y momentos, y algunas variantes más estables. ¡También muestra, curiosamente, que en muchos casos el estimador de método de momentos es mejor que el estimador de ML!

Raymond J Carrol y F Lombard: una nota sobre los estimadores de N para la distribución binomial. JASA 1985.
Desarrolla un estimador alternativo, más estable y tal vez mejor, basado en la integración de de la probabilidad. También señala la falta de suficiencia de los recuentos sumados.$p$

J Andrew Royle: N_Mixture Models para estimar el tamaño de la población a partir de recuentos replicados espacialmente. Biometrics, 2004. Esto ofrece otro enfoque bayesiano alternativo que puede probar.

De vuelta a su pregunta concreta. ¡NO DEBE sumar los recuentos en sus dos regiones! Eso perderá información. Si introduce entonces la función de probabilidad de registro puede escribirse como una función de , y (o ). Luego, el parámetro adicional debe eliminarse mediante algún procedimiento. Volveré sobre eso, pero no, ¡no hay tiempo! $N=N_1 + N_2$$N$$p$$N_1$$N_2$$N_1$