¿Cómo es posible que Poisson GLM acepte números no enteros?

¡Estoy realmente sorprendido por el hecho de que Poisson GLM acepta números no enteros! Mira:

Datos (contenido de data.txt):

1   2001    0.25  1
1   2002    0.5   1
1   2003    1     1
2   2001    0.25  1
2   2002    0.5   1
2   2003    1     1

R script:

t        <- read.table("data.txt")
names(t) <- c('site', 'year', 'count', 'weight')
tm       <- glm(count ~ 0 + as.factor(site) + as.factor(year), data = t, 
                family = "quasipoisson")  # also works with family="poisson"
years    <- 2001:2003
plot(years, exp(c(0, tail(coef(tm), length(years)-1))), type = "l")

El índice del año resultante es el "esperado", es decir, 1-2-4en años 2001-2003.

Pero, ¿cómo es posible que Poisson GLM tome números no enteros? ¡La distribución de Poisson siempre ha sido solo de enteros!

r generalized-linear-model poisson-distribution poisson-regression

— Curioso
fuente

¿Podría aclarar qué es exactamente lo que quiere saber? ¿Cómo trata el algoritmo de ajuste con los no enteros? ¿O por qué R no verifica si la respuesta es un número entero? ¿O si algo está mal en el resultado cuando se suministran números enteros?

— Momo

@Momo, sí, ¡todas estas preguntas son interesantes!

— Curioso

Edite su pregunta para reflejar eso. Es más probable que obtenga una buena respuesta de esta manera.

— Momo

No es que esto realmente importe, ya que también es cierto family="poisson", pero tenga en cuenta que su ejemplo no es un Poisson GLM, ya que está utilizando la quasipoissonfamilia, que de todos modos solo depende de la relación entre la media y la varianza, así que en eso caso, no debería sorprendernos tomar números no enteros.

— Aaron - Restablece a Monica el

Aquí hay algunas referencias sobre por qué esto podría tener sentido.

— Dimitriy V. Masterov

Respuestas:

Por supuesto, tiene razón en que la distribución de Poisson técnicamente se define solo para enteros. Sin embargo, el modelado estadístico es el arte de buenas aproximaciones (" todos los modelos están equivocados "), y hay ocasiones en que tiene sentido tratar los datos no enteros como si fueran [aproximadamente] Poisson.

Por ejemplo, si envía dos observadores para registrar los mismos datos de conteo, puede suceder que los dos observadores no siempre estén de acuerdo con el conteo; uno podría decir que algo sucedió 3 veces mientras que el otro dijo que sucedió 4 veces. Es bueno tener la opción de usar 3.5 al ajustar los coeficientes de Poisson, en lugar de tener que elegir entre 3 y 4.

Computacionalmente, el factorial en el Poisson podría hacer que parezca difícil trabajar con no enteros, pero existe una generalización continua del factorial. Además, realizar la estimación de máxima verosimilitud para el Poisson ni siquiera implica la función factorial, una vez que simplifica la expresión .

— zkurtz
fuente

$y$ $\renewcommand{\vec}[1]{\boldsymbol{#1}}\vec{x}$

mi Y_{yo} = Exp β^{T} X_{yo}

$\operatorname{E}Y_i=\exp{\vec\beta^{\mathrm{T}}\vec{x}_i}$

Var Y_{yo} = mi Y_{yo}

$\operatorname{Var}Y_i=\operatorname{E}Y_i$

β

$\vec\beta$

\sum_{yo}^{norte} X_{yo} (y_{yo} - Exp β^{T} X_{yo}) = 0 0

$\sum_i^n{\vec{x}_i\left(y_i-\exp{\vec\beta^{\mathrm{T}}\vec{x}_i}\right)}=0$

Esto se desprende del enfoque del método de los momentos que aprendimos en la escuela y conduce a la de las ecuaciones de estimación generalizadas .

@ Aaron señaló que en realidad estás usando un ajuste cuasi-Poisson en tu código. Eso significa que la varianza es proporcional a la media

Var Y_{yo} = ϕ mi Y_{yo}

$\operatorname{Var}Y_i=\phi\operatorname{E}Y_i$

con un parámetro de dispersión que puede estimarse a partir de los datos. Los coeficientes estimados serán los mismos, pero sus errores estándar serán más amplios; Este es un enfoque más flexible y, por lo tanto, más útil en general. (Tenga en cuenta también que los estimadores sandwich para la matriz de varianza-covarianza de los parámetros a menudo se utilizan en este tipo de situaciones para dar errores estándar robustos). $\phi$

— Scortchi - Restablece a Monica
fuente