¿Qué propiedades útiles tiene la función de enlace canónico?

8

Así que aquí estoy estudiando modelos lineales generalizados. Sé que esta pregunta es bastante ingenua y simple, pero no sé exactamente por qué la función canónica de enlace es tan útil. ¿Podría alguien proporcionarme una intuición sobre este problema?

— usuario1337
fuente

9

Sé que esta pregunta es bastante ingenua y simple, pero no sé exactamente por qué la función canónica del enlace es tan útil

¿Es realmente tan útil? Una función de enlace que es canónica es principalmente una propiedad matemática. Simplifica un poco las matemáticas, pero en el modelado, de todos modos, debe usar la función de enlace que tiene significado científico.

Entonces, ¿qué propiedades adicionales tiene una función de enlace canónico?

Conduce a la existencia de suficientes estadísticas. Eso podría implicar una estimación algo más eficiente, tal vez, pero el software moderno (como glmen R) no parece tratar los enlaces canónicos de manera diferente a otros enlaces.
Simplifica algunas fórmulas, por lo que se facilitan los desarrollos teóricos. Muchas buenas propiedades matemáticas, vea ¿Cuál es la diferencia entre una "función de enlace" y una "función de enlace canónico" para GLM ?

Entonces, las ventajas parecen ser principalmente matemáticas y algorítmicas, no realmente estadísticas.

Algunos detalles más: Let $Y_1, \dotsc, Y_n$ ser observaciones independientes del modelo de familia de dispersión exponencial

f_{Y} (y; θ, ϕ) = \exp {(y θ - b (θ)) / a (ϕ) + c (y, ϕ)}

$f_Y(y;\theta,\phi)=\exp\left\{(y\theta-b(\theta))/a(\phi) + c(y,\phi)\right\}$ con expectativa

E Y_{i} = μ_{i}

$\DeclareMathOperator{\E}{\mathbb{E}} \E Y_i=\mu_i$ y predictor lineal

η_{i} = x_{i}^{T} β

$\eta_i = x_i^T \beta$ con vector covariable

x_{i}

$x_i$ . La función de enlace es canónica si

η_{i} = θ_{i}

$\eta_i=\theta_i$ . En este caso, la función de probabilidad se puede escribir como

L (β; ϕ) = \exp {\sum_{i} \frac{y_{i} x_{i}^{T} β - b (x_{i}^{T} β)}{a (ϕ)} + \sum_{i} c (y_{i}, ϕ)}

$\mathcal{L}(\beta; \phi)=\exp\left\{ \sum_i \frac{y_i x_i^T \beta -b(x_i^T \beta)}{a(\phi)}+\sum_i c(y_i,\phi)\right\}$ y por el teorema de factorización podemos concluir que

\sum_{i} x_{i} y_{i}

$\sum_i x_i y_i$ es suficiente para

β

$\beta$ .

Sin entrar en detalles, las ecuaciones necesarias para IRLS se simplificarán. Del mismo modo, esta búsqueda en Google parece encontrar principalmente enlaces canónicos mencionados en el contexto de las simplificaciones, y no más razones estadísticas.

— kjetil b halvorsen
fuente

1

Es matemáticamente útil, tal vez.

— AdamO

¡Sí, eso es lo que he tratado de decir!

— kjetil b halvorsen

8

La función de enlace canónico describe la relación media-varianza en un GLM. Por ejemplo, una variable aleatoria binomial tiene función de enlace $\mu = \exp( \nu) /(1-\exp(\nu))$ where $\nu$ is a linear predictor $\mathbf{X}^T\beta$ . Note that $\frac{\partial }{\partial \nu} \mu = \mu(1-\mu)$ which is the appropriate mean-variance relationship for a Bernoulli random variable. The same is true of Poisson random variables, where the inverse link function is $\mu = \exp(\nu)$ and $\frac{\partial }{\partial \nu} \mu = \mu$ where in a Poisson random variable, the variance is the mean.

The generalized linear model solves an estimating equation of the form:

S (β) = D V^{- 1} (Y - g (X^{T} β))

$S(\beta) = D V^{-1} (Y - g(\mathbf{X}^T\beta))$

where $D = \frac{\partial}{\partial \beta} g(\mathbf{X}^T\beta)$ and $V=\text{var}(Y)$ . When the link is canonical, therefore, $D = V$ and the estimating function is:

S (β) = X^{T} (Y - g (X^{T} β))

$S(\beta) = \mathbf{X}^{T}(Y - g(\mathbf{X}^T\beta))$

As was noted in Wedderburn's 1976 paper on quasilikelihood, the canonical link has the advantage that expected and observed information are the same and that iteratively reweighted least squares is equivalent to Newton-Raphson, so this simplifies estimating procedures and variance estimation.

— AdamO
fuente