En un GLM, ¿la probabilidad logarítmica del modelo saturado es siempre cero?

14

Como parte de la salida de un modelo lineal generalizado, la desviación nula y residual se utilizan para evaluar el modelo. A menudo veo las fórmulas para estas cantidades expresadas en términos de la probabilidad de registro del modelo saturado, por ejemplo: /stats//a/113022/22199 , Regresión logística: cómo obtener un modelo saturado

El modelo saturado, por lo que yo entiendo, es el modelo que se adapta perfectamente a la respuesta observada. Por lo tanto, en la mayoría de los lugares que he visto, la probabilidad logarítmica del modelo saturado siempre se da como cero.

Sin embargo, la forma en que se da la fórmula para la desviación sugiere que a veces esta cantidad no es cero. (Como si siempre fuera cero, ¿por qué molestarse en incluirlo?)

¿En qué casos puede ser distinto de cero? Si nunca es distinto de cero, ¿por qué incluirlo en la fórmula para la desviación?

— Alex
fuente

18

Si realmente quisiste decir log-verosimilitud , entonces la respuesta es: no siempre es cero.

Por ejemplo, considere los datos de Poisson: . El log-verosimilitud para viene dado por: $y_i \sim \text{Poisson}(\mu_i), i = 1, \ldots, n$ $Y = (y_1, \ldots, y_n)$

\begin{matrix} (*) & ℓ (μ; Y) = - \sum_{i = 1}^{n} μ_{i} + \sum_{i = 1}^{n} y_{i} \log μ_{i} - \sum_{i = 1}^{n} \log (y_{i}!) . \end{matrix}

$\ell(\mu; Y) = -\sum_{i = 1}^n \mu_i + \sum_{i = 1}^n y_i \log \mu_i - \sum_{i = 1}^n \log(y_i!). \tag{$*$}$

Diferenciar en con respecto a y establecerlo en (así es como obtenemos el MLE para el modelo saturado): $\ell(\mu; Y)$ $(*)$ $\mu_i$ $0$ resolver esto porpara obtener, sustituyendode nuevo enparada que el diario de probabilidad del modelo saturado es:

- 1 + \frac{y_{yo}}{μ_{yo}} = 0.

$-1 + \frac{y_i}{\mu_i} = 0.$

μ_{i}

$\mu_i$

{\hat{μ}}_{i} = y_{i}

$\hat{\mu}_i = y_i$

{\hat{μ}}_{i}

$\hat{\mu}_i$

(*)

$(*)$

μ_{i}

$\mu_i$

a menos

toman valores muy especiales.

ℓ (\hat{μ}; Y) = \sum_{yo = 1}^{norte} y_{yo} (Iniciar sesión y_{yo} - 1) - \sum_{yo = 1}^{norte} Iniciar sesión (y_{yo}!) \neq 0 0

$\ell(\hat{\mu}; Y) = \sum_{i = 1}^n y_i(\log y_i - 1) -\sum_{i = 1}^n \log(y_i!) \neq 0$

y_{i}

$y_i$

En la página de ayuda de la Rfunción glm, debajo del elemento deviance, el documento explica este problema de la siguiente manera:

deviance hasta una constante, menos el doble de la probabilidad de registro maximizada. Donde sea sensible, la constante se elige de modo que un modelo saturado tenga una desviación cero.

Observe que mencionó que la desviación , en lugar de la probabilidad logarítmica del modelo saturado, se elige como cero.

Probablemente, lo que realmente quería confirmar es que "la desviación del modelo saturado siempre se da como cero", lo cual es cierto, ya que la desviación, por definición (véase la Sección 4.5.1 del Análisis de datos categóricos (2ª edición) por Alan Agresti) es la estadística de razón de probabilidad de un GLM especificado al modelo saturado. Lo constantmencionado en la documentación de R es en realidad el doble de la probabilidad de registro maximizada del modelo saturado.

Con respecto a su afirmación "Sin embargo, la forma en que se da la fórmula para la desviación sugiere que a veces esta cantidad no es cero", probablemente se deba al abuso del uso del término desviación . Por ejemplo, en R, el estadístico de la razón de probabilidad de comparar dos modelos arbitrarios (anidados) y también se conoce como desviación, que se llamaría con mayor precisión como la diferencia entre la desviación de y la desviación de , si seguimos de cerca la definición dada en el libro de Agresti. $M_1$ $M_2$ $M_1$ $M_2$

Conclusión

La probabilidad logarítmica del modelo saturado en general no es cero.
La desviación (en su definición original) del modelo saturado es cero.
La salida de desviación del software (como R) en general no es cero, ya que en realidad significa algo más (la diferencia entre dispositivos).

Los siguientes son la derivación para el caso general de la familia exponencial y otro ejemplo concreto. Suponga que los datos provienen de una familia exponencial (vea Estadísticas modernas aplicadas con S , Capítulo ): $7$

\begin{matrix} (1) & F (y_{yo}; θ_{yo}, φ) = Exp [{UN}_{yo} (y_{yo} θ_{yo} - γ (θ_{yo})) / / φ + τ (y_{yo}, φ / / {UN}_{yo})] . \end{matrix}

$f(y_i; \theta_i, \varphi) = \exp[A_i(y_i\theta_i - \gamma(\theta_i))/\varphi + \tau(y_i, \varphi/A_i)]. \tag{1}$ donde

son pesos anteriores conocidos y

son parámetros de dispersión / escala (para muchos casos como binomial y Poisson, este parámetro es conocido, mientras que para otros casos como normal y Gamma, este parámetro es desconocido). Entonces el log-verosimilitud viene dado por:

A_{i}

$A_i$

φ

$\varphi$

Como en el ejemplo de Poisson, los parámetros del modelo saturado se pueden estimar resolviendo la siguientefunción depuntuación:

ℓ (θ, φ; Y) = \sum_{yo = 1}^{norte} {UN}_{yo} (y_{yo} θ_{yo} - γ (θ_{yo})) / / φ + \sum_{yo = 1}^{norte} τ (y_{yo}, φ / / {UN}_{yo}) .

$\ell(\theta, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \theta_i - \gamma(\theta_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i).$

0 0 = U (θ_{yo}) = \frac{\partial ℓ (θ, φ; Y)}{\partial θ_{yo}} = \frac{{UN}_{yo} (y_{yo} - γ^{'} (θ_{yo}))}{φ}

$0 = U(\theta_i) = \frac{\partial \ell(\theta, \varphi; Y)}{\partial \theta_i} = \frac{A_i(y_i - \gamma'(\theta_i))}{\varphi}$

Denotar la solución de la ecuación anterior por , entonces la forma general de la log-probabilidad de que el modelo saturado (tratar el parámetro de escala como constante) es: $\hat{\theta}_i$

\begin{matrix} (* *) & ℓ (\hat{θ}, φ; Y) = \sum_{yo = 1}^{norte} {UN}_{yo} (y_{yo} {\hat{θ}}_{yo} - γ ({\hat{θ}}_{yo})) / / φ + \sum_{yo = 1}^{norte} τ (y_{yo}, φ / / {UN}_{yo}) . \end{matrix}

$\ell(\hat{\theta}, \varphi; Y) = \sum_{i = 1}^n A_i(y_i \hat{\theta}_i - \gamma(\hat{\theta}_i))/\varphi + \sum_{i = 1}^n \tau(y_i, \varphi/A_i). \tag{$**$}$

$(**)$ $\Gamma(\alpha, \beta)$

F (y; α, β) = \frac{β^{α}}{Γ (α)} {mi}^{- β y} y^{α - 1}, y > 0 0, α > 0 0, β > 0 0,

$f(y; \alpha, \beta) = \frac{\beta^\alpha}{\Gamma(\alpha)}e^{-\beta y}y^{\alpha - 1}, \quad y > 0, \alpha > 0, \beta > 0,$

f

$f$

(1)

$(1)$

φ = \frac{1}{α}, θ = - \frac{β}{α},

$\varphi = \frac{1}{\alpha},\, \theta = -\frac{\beta}{\alpha},$

f

$f$

F (y; θ, φ) = Exp [\frac{θ y - (- Iniciar sesión (- θ))}{φ} + τ (y, φ)],

$f(y; \theta, \varphi) = \exp\left[\frac{\theta y - (-\log(-\theta))}{\varphi}+ \tau(y, \varphi)\right],$

τ (y, φ) = - \frac{Iniciar sesión φ}{φ} + (\frac{1}{φ} - 1) Iniciar sesión y - Iniciar sesión Γ (φ^{- 1}) .

$\tau(y, \varphi) = -\frac{\log \varphi}{\varphi} + \left(\frac{1}{\varphi} - 1\right)\log y - \log\Gamma(\varphi^{-1}).$

{\hat{θ}}_{i} = - \frac{1}{y_{i}}

$\hat{\theta}_i = -\frac{1}{y_i}$

\sum_{yo = 1}^{norte} \frac{1}{φ} [{\hat{θ}}_{yo} y_{yo} - (- Iniciar sesión (- {\hat{θ}}_{yo}))] = \sum_{yo = 1}^{norte} \frac{1}{φ} [- 1 - Iniciar sesión (y_{yo})] \neq 0 0,

$\sum_{i = 1}^n \frac{1}{\varphi}[\hat{\theta}_iy_i - (-\log(-\hat{\theta}_i))] = \sum_{i = 1}^n \frac{1}{\varphi}[-1 - \log(y_i)] \neq 0,$

y_{i}

$y_i$

— Zhanxiong
fuente

1

¿La probabilidad de loglitud es cero si y solo si el modelo puede asignar el 100% de probabilidad a cada uno de los posibles resultados?

— Alex

0

$0$

τ

$\tau$

0

$0$

Su derivación es muy buena, pero la prueba formal está un poco por encima de mi cabeza en este momento. Gracias por su ejemplo con el modelo de Poisson. Lo que saqué de este ejemplo es que el modelo de Poisson no puede asignar un 100% de probabilidad al resultado observado dado cualquier valor para la media de Poisson, por lo tanto, la probabilidad no puede ser cero.

— Alex

100 %

$100\%$

y_{1}, \dots, y_{n}

$y_1, \ldots, y_n$

Y

$Y$

P (Y = y_{1}) + P (Y = y_{2}) + \dots + P (Y = y_{n}) < 1

$P(Y= y_1) + P(Y = y_2) + \cdots + P(Y = y_n) < 1$

1

Y

$Y$

P (Y = y_{i}) < 1

$P(Y = y_i) < 1$

i

$i$

4

$0$

\begin{matrix} (1) & L (y; X, β) = \prod_{yo = 1}^{norte} F (y_{yo}; X_{yo}, β) = \prod_{yo = 1}^{norte} π_{yo}^{y_{yo}} (1 - π_{yo})^{1 - y_{yo}} = \prod_{yo = 1}^{norte} {(\frac{π_{yo}}{1 - π_{yo}})}^{y_{yo}} (1 - π_{yo}) \end{matrix}

$L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) = \prod_{i=1}^n f(y_i ; \mathbf{x}_i, \boldsymbol{\beta}) = \prod_{i=1}^n \pi_i^{y_i}(1-\pi_i)^{1-y_i} = \prod_{i=1}^n\left( \frac{\pi_i}{1-\pi_i}\right)^{y_i} (1 - \pi_i) \tag{1}$

π_{i} = invlogit (x_{i}^{⊺} β)

$\pi_i = \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )$

\begin{aligned} Iniciar sesión L (y; X, β) & = \sum_{yo = 1}^{norte} y_{yo} Iniciar sesión (\frac{π_{yo}}{1 - π_{yo}}) + Iniciar sesión (1 - π_{yo}) \\ = \sum_{yo = 1}^{norte} y_{yo} logit (π_{yo}) + Iniciar sesión (1 - π_{yo}) \\ = \sum_{yo = 1}^{norte} y_{yo} X_{yo}^{⊺} β + Iniciar sesión (1 - invlogit (X_{yo}^{⊺} β)) \\ = \sum_{yo = 1}^{norte} y_{yo} X_{yo}^{⊺} β + Iniciar sesión (invlogit (- X_{yo}^{⊺} β)) \\ = \sum_{yo = 1}^{norte} y_{yo} X_{yo}^{⊺} β - Iniciar sesión (1 + Exp [X_{yo}^{⊺} β])) \end{aligned}

$\begin{align*} \log L(\mathbf{y} ; \mathbf{X}, \boldsymbol{\beta}) &= \sum_{i=1}^n y_i \log \left( \frac{\pi_i}{1-\pi_i}\right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \text{logit} \left( \pi_i \right) + \log(1-\pi_i) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( 1 - \text{invlogit}(\mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} + \log( \text{invlogit}( - \mathbf{x}_i^\intercal \boldsymbol{\beta} )) \\ &= \sum_{i=1}^n y_i \mathbf{x}_i^\intercal \boldsymbol{\beta} - \log( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] )) \end{align*}$

Si toma las derivadas con respecto a todos los coeficientes que obtiene

\begin{matrix} (2) & \nabla ℓ (β) = \sum_{yo = 1}^{norte} y_{yo} X_{yo} - \frac{Exp [X_{yo}^{⊺} β]}{(1 + Exp [X_{yo}^{⊺} β])} X_{yo} . \end{matrix}

$\nabla \ell(\boldsymbol{\beta}) = \sum_{i=1}^n y_i \mathbf{x}_i - \frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }\mathbf{x}_i \tag{2}.$

Establecer esta expresión igual a $\mathbf{0}$ y resolviendo para $\boldsymbol{\beta}$ te dará tu respuesta. Por lo general, esto no se puede hacer analíticamente, lo que explica la popularidad / necesidad de usar algoritmos iterativos para ajustarse a este modelo, pero en el caso de un modelo saturado, es posible.

Para encontrar el modelo saturado, le damos a cada fila su propio coeficiente. Entonces $\boldsymbol{\beta} \in \mathbb{R}^n$ y la matriz de diseño multiplicada por el vector coeficiente es

X β = [\begin{matrix} 1 & 0 0 & \dots & 0 0 \\ 0 0 & 1 & \dots & 0 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 0 & 0 0 & \dots & 1 \end{matrix}] [\begin{matrix} β_{1} \\ β_{2} \\ ⋮ \\ β_{norte} \end{matrix}] .

$\mathbf{X}\boldsymbol{\beta} = \begin{bmatrix} 1 & 0 & \cdots & 0\\ 0 & 1 & \cdots & 0\\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & 1\\ \end{bmatrix} \begin{bmatrix} \beta_1 \\ \beta_2 \\ \vdots \\ \beta_n \end{bmatrix}.$

Tenga en cuenta que en particular, $\mathbf{x}_i^\intercal \boldsymbol{\beta} = \beta_i$ .

Entonces tomando el $j$ la fila de la ecuación (2) nos da

\sum_{yo = 1}^{norte} y_{yo} X_{yo, j} = \sum_{yo = 1}^{norte} \frac{Exp [X_{yo}^{⊺} β]}{(1 + Exp [X_{yo}^{⊺} β])} X_{yo, j}

$\sum_{i=1}^n y_i x_{i,j} = \sum_{i=1}^n\frac{\exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}]}{( 1 + \exp[ \mathbf{x}_i^\intercal \boldsymbol{\beta}] ) }x_{i,j}$

que solo puede ser cierto si para cada observación $i$ :

y_{yo} = invlogit (β_{yo})

$y_i = \text{invlogit}(\beta_i )$ o en otras palabras cada

β_{i}

$\beta_i$ es más o menos infinito (si

y_{i}

$y_i$ es

1

$1$ o

0

$0$ , respectivamente). Podemos volver a conectar estos parámetros a (1) para obtener la probabilidad máxima:

\prod_{yo = 1}^{norte} {\hat{π}}_{yo}^{y_{yo}} (1 - {\hat{π}}_{yo})^{1 - y_{yo}} = 1^{norte} = 1)

$\prod_{i=1}^n \hat{\pi}_i^{y_i}(1-\hat{\pi}_i)^{1-y_i} = 1^n = 1.$ Claramente, el registro de esto es

0

$0$ .

— Taylor
fuente

Pero esto supone datos desagrupados . Si tienes grupos con

n_{i} > 1

$n_i>1$ (y los mismos valores de covariables) (en R, por ejemplo usando el formulario glm( cbind(k, n-k) ~ x + ... ), entonces el modelo saturado no tiene probabilidad de logl cero.

— kjetil b halvorsen

@kjetilbhalvorsen oh buen punto. Nunca intenté eso, déjame comprobar

— Taylor

1

@ Alex: sí, es cierto. al menos para distribuciones discretas. para distribuciones continuas, se reduciría a dejar que la densidad sea igual a 1, lo que no es necesariamente significativo y, por lo tanto, no es una cosa sensata para tratar de lograr. un poco más generalmente, la probabilidad logarítmica del modelo saturado le brinda un límite superior para el rendimiento de cualquier modelo que siga su suposición de la familia de distribución subyacente. En otras palabras, la probabilidad logarítmica de un modelo binomial saturado es "tan buena como es posible" para el conjunto de datos dado (X, Y) suponiendo que Y es binomial. Tiene sentido comparar su modelo glm con este límite superior en lugar de, por ejemplo, 100% (o similar), ya que su modelo está inherentemente limitado por su suposición sobre la distribución de la respuesta.

— bettmensch88
fuente