¿Cambiar de modelar un proceso usando una distribución de Poisson para usar una distribución binomial negativa?


24

Tenemos un proceso aleatorio que puede-o-no-puede aparecer varias veces en un período determinado de tiempo T . Tenemos una fuente de datos de un modelo preexistente de este proceso, que proporciona la probabilidad de que ocurran varios eventos en el período 0t<T . Este modelo existente es antiguo y necesitamos ejecutar verificaciones en vivo en los datos de alimentación para detectar errores de estimación. El modelo anterior que produce el suministro de datos (que proporciona la probabilidad de que ocurran n eventos en el tiempo restante t ) es aproximadamente distribuido por Poisson.

Entonces, para verificar anomalías / errores, dejamos que t sea ​​el tiempo restante y Xt sea ​​el número total de eventos que ocurrirán en el tiempo restante t . El modelo anterior implica las estimaciones P(Xtc) . Entonces, bajo nuestro supuesto XtPoisson(λt) tenemos:

P(Xtc)=eλk=0cλtkk!.
Para derivar nuestra tasa de eventos λt de la salida del modelo antiguo (observaciones yt ), utilizamos un enfoque de espacio de estado y modelamos la relación de estado como:
yt=λt+εt(εtN(0,Ht)).
Filtramos las observaciones del modelo anterior, utilizando un modelo de espacio de estado [decaimiento de velocidad constante] para la evolución de λt para obtener el estado filtrado E(λt|Yt) y marcamos una anomalía / error en la frecuencia estimada del evento desde el feed-data if E(λt|Yt)<yt .

Este enfoque funciona fantásticamente bien para detectar errores en los recuentos de eventos estimados durante todo el período de tiempo T , pero no tan bien si queremos hacer lo mismo para otro período 0t<σ donde σ<23T . Para evitar esto, hemos decidido que ahora queremos cambiar para usar la distribución binomial negativa, de modo que supongamos ahora XtNB(r,p) y tenemos:

P(Xtc)=prk=0c(1p)k(k+r1r1),
donde el parámetro λ ahora se reemplaza por r y p. Esto debería ser sencillo de implementar, pero tengo algunas dificultades con la interpretación y, por lo tanto, tengo algunas preguntas con las que me gustaría que me ayudara:

1. ¿Podemos simplemente establecer p=λ en la distribución binomial negativa? ¿Si no, porque no?

2. Suponiendo que podemos establecer p=f(λ) donde f es alguna función, ¿cómo podemos establecer correctamente r (¿necesitamos ajustar r usando conjuntos de datos pasados)?

3. ¿ Depende r del número de eventos que esperamos que ocurran durante un proceso dado?


Anexo a la extracción de estimaciones para r (y p ):

Soy consciente de que si de hecho este problema se revirtiera y tuviéramos el recuento de eventos para cada proceso, podríamos adoptar el estimador de máxima verosimilitud para y . Por supuesto, el estimador de máxima verosimilitud solo existe para muestras para las cuales la varianza muestral es mayor que la media muestral, pero si este fuera el caso, podríamos establecer la función de verosimilitud para observaciones independientes distribuidas idénticamente como: desde el cual podemos escribir la función log-verosimilitud como: p N k 1 , k 2 , , k N L ( r , p ) = N i = 1 P ( k i ; r , p ) , l ( r , p ) = N i = 1 ln ( Γ ( k i + r ) ) - N irpNk1,k2,,kN

L(r,p)=i=1NP(ki;r,p),
rpr l ( r , p )
l(r,p)=i=1Nln(Γ(ki+r))i=1Nln(ki!)Nln(Γ(r))+i=1Nkiln(p)+Nrln(1p).
Para encontrar el máximo, tomamos las derivadas parciales con respecto a y y las establecemos iguales a cero: Establecer y establecer encontramos: rprl(r,p)=pl(r,p)=0p= N i = 1 k i
rl(r,p)=i=1Nψ(ki+r)Nψ(r)+Nln(1p),pl(r,p)=i=1Nki1pNr11p.
rl(r,p)=pl(r,p)=0rl(r,p)=Ni=1ψ(ki+r)-Nψ(r)+Nln(rp=i=1Nki(Nr+i=1Nki),rp
rl(r,p)=i=1Nψ(ki+r)Nψ(r)+Nln(rr+i=1NkiN)=0.
Esta ecuación no puede resolverse para r en forma cerrada usando Newton o incluso EM. Sin embargo, este no es el caso en esta situación. Aunque podríamos usar los datos pasados ​​para obtener una y estática, esto no es realmente un uso para nuestro proceso, necesitamos adaptar estos parámetros a tiempo, como hicimos con Poisson. rp

1
¿Por qué no simplemente conectar sus datos a un modelo de regresión binomial negativa o de Poisson?
StatsStudent

1
No siento que debería tener para ser utilizado. Teniendo en cuenta que Poisson es el caso limitante del binomio negativo, debería haber alguna forma de parametrizar este problema de la misma manera que lo hice para Poisson. Además, este proceso ocurre simultáneamente para miles de procesos de diferencia y ninguno tiene la misma "tasa de eventos", lo que significa que el análisis de regresión para estos parámetros tendría que hacerse en cada nueva observación para todos los procesos en vivo. Esto no es factible. Muchas gracias por tomarse el tiempo de leer mi pregunta y comentario, es muy apreciado ...
MoonKnight

1
En términos de vincular Poisson a NB, si tiene con la variable de dispersión oculta para que y . Esto dará una distribución marginal de NB al integrar . Podrías usar esto para ayudar. ( g t | r t ) G a m m a ( r t , r t ) E ( g t ) = 1 v a r ( g t ) = r -(Xt|λt,rt,gt)Pois(λtgt)(gt|rt)Gamma(rt,rt)E(gt)=1 gtvar(gt)=rt1gt
probabilityislogic

Esa es una gran ayuda, pero ¿puede desarrollar esto un poco más y proporcionar algunos detalles explícitos? Muchas gracias por su tiempo ...
MoonKnight

1
¿Qué pasa con el uso del binomio en lugar del binomio negativo? Eso puede ser más fácil de hacer. Anscombe FJ. La transformación de datos de Poisson, binomial y binomial negativo. Biometrika 1948; 35: 246-54.
Carl

Respuestas:


1

La distribución binomial negativa es muy similar al modelo de probabilidad binomial. es aplicable cuando los siguientes supuestos (condiciones) son válidos 1) Cualquier experimento se realiza en las mismas condiciones hasta que se alcanza un número fijo de éxitos, digamos C 2) El resultado de cada experimento se puede clasificar en una de las dos categorías , éxito o fracaso 3) La probabilidad P de éxito es la misma para cada experimento 40Cada experimento es independiente de todos los demás. La primera condición es el único factor clave de diferenciación entre binomial y binomial negativo.


0

La distribución de Poisson puede ser una aproximación razonable del binomio bajo ciertas condiciones como 1) La probabilidad de éxito para cada ensayo es muy pequeña. P -> 0 2) np = m (digamos) está bien La regla más utilizada por los estadísticos es que el poisson es una buena aproximación del binomio cuando n es igual o mayor que 20 y p es igual o menor que 5 %

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.