¿Por qué GLM es diferente de un LM con variable transformada?

16

Como se explica en este folleto del curso (página 1) , se puede escribir un modelo lineal en la forma:

y = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$y = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

donde es la variable de respuesta y es la variable explicativa . $y$ $x_{i}$ $i^{th}$

A menudo, con el objetivo de cumplir con los supuestos de la prueba, se puede transformar la variable de respuesta. Por ejemplo, aplicamos la función de registro en cada . Transformar una variable de respuesta NO equivale a hacer un GLM. $y_i$

Se puede escribir un GLM en el siguiente formulario (del folleto del curso nuevamente (página 3) )

g (u) = β_{1} x_{1} + \dots + β_{p} x_{p} + ε_{i},

$g(u) = \beta_1 x_{1} + \cdots + \beta_p x_{p} + \varepsilon_i,$

donde es solo otro símbolo para como entiendo de la página 2 en el folleto del curso. $u$ $y$ $g()$ se llama la función de enlace.

Realmente no entiendo la diferencia entre un GLM y un LM con una variable transformada de las diapositivas en el curso. ¿Me puede ayudar con eso?

— Remi.b
fuente

2

Puede resultarle esclarecedor considerar el hecho de que todas las transformaciones de un resultado binario son afines, lo que lo limitaría a una regresión de mínimos cuadrados ordinarios. Obviamente, esto no es lo que está logrando la regresión logística (un GLM estándar para respuestas binarias). (Prueba: deje que los valores de resultado se codifiquen como

e

y deje que

sea cualquier transformación. Al escribir

y

encontramos que

concuerda en

y_{0}

$y_0$

y_{1}

$y_1$

ϕ

$\phi$

z_{0} = ϕ (y_{0})

$z_0=\phi(y_0)$

z_{1} = ϕ (y_{1})

$z_1=\phi(y_1)$

ϕ

$\phi$

con

(que es una transformación afín de

) donde

y

)

{y_{0}, y_{1}}

$\{y_0,y_1\}$

y \to λ y + μ

$y\to \lambda y + \mu$

y

$y$

λ = (z_{1} - z_{0}) / (y_{1} - y_{0})

$\lambda=(z_1-z_0)/(y_1-y_0)$

μ = z_{0} - λ y_{0}

$\mu=z_0-\lambda y_0$

— whuber

15

Transformar la respuesta antes de hacer una regresión lineal es hacer esto:

E (g (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$E(g(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

donde es una función dada, y suponemos que tiene una distribución dada (generalmente normal). $g$ $g(Y)$

Un modelo lineal generalizado está haciendo esto:

g (E (Y)) \sim β_{0} + β_{1} x_{1} + \dots + β_{p} x_{p}

$g(E(Y)) \sim \beta_0 + \beta_1x_1 + \ldots + \beta_px_p$

donde es igual que antes, y suponemos que tiene una distribución dada (generalmente no es normal). $g$ $Y$

— Hong Ooi
fuente

¿Qué es E en tu ecuación?

— user1406647

1

es la notación estándar para el valor esperado de

.

E (X)

$E(X)$

X

$X$

— Marcus PS

También me pareció útil: christoph-scherber.de/content/PDF%20Files/…

— Aditya

22

No estoy seguro de si esto constituirá una respuesta completa para usted, pero puede ayudar a liberar el logjam conceptual.

Parece que hay dos conceptos erróneos en su cuenta:

Tenga en cuenta que la regresión de mínimos cuadrados ordinarios (MCO - 'lineal') es un caso especial del modelo lineal generalizado. Por lo tanto, cuando dice "[t] ransformar una variable de respuesta NO equivale a hacer un GLM", esto es incorrecto. Ajustar un modelo lineal o transformar la variable de respuesta y luego ajustar un modelo lineal, ambos constituyen 'hacer un GLM'.
$u$ $\mu$ $X$ $u$ $y$ $Y$ $y_i$ $Y$ $i$ $y$

(No me refiero a insistir en los errores, solo sospecho que pueden estar causando confusión).
También hay otro aspecto del modelo lineal generalizado que no veo mencionar. Es decir, especificamos una distribución de respuesta. En el caso de la regresión OLS, la distribución de respuesta es gaussiana (normal) y la función de enlace es la función de identidad. En el caso de, por ejemplo, la regresión logística (que puede ser lo que las personas piensan primero cuando piensan en GLM), la distribución de la respuesta es el Bernoulli (/ binomial) y la función de enlace es el logit. Cuando se utilizan transformaciones para garantizar que se cumplan los supuestos de OLS, a menudo intentamos que la distribución de respuesta condicional sea aceptablemente normal. Sin embargo, tal transformación no hará que la distribución de Bernoulli sea aceptablemente normal.

— gung - Restablece a Monica
fuente