¿Por qué la regresión Beta / Dirichlet no se considera modelos lineales generalizados?

La premisa es esta cita de la viñeta del paquete R betareg¹ .

Además, el modelo comparte algunas propiedades (como el predictor lineal, la función de enlace, el parámetro de dispersión) con modelos lineales generalizados (GLMs; McCullagh y Nelder 1989), pero no es un caso especial de este marco (ni siquiera para la dispersión fija )

Esta respuesta también hace alusión al hecho:

[...] Este es un tipo de modelo de regresión que es apropiado cuando la variable de respuesta se distribuye como Beta. Puedes considerarlo como análogo a un modelo lineal generalizado. Es exactamente lo que estás buscando [...] (énfasis mío)

El título de la pregunta lo dice todo: ¿por qué la regresión Beta / Dirichlet no se considera modelos lineales generalizados (no lo son)?

Hasta donde yo sé, el modelo lineal generalizado define modelos construidos sobre la expectativa de sus variables dependientes condicionadas a las independientes.

$f$ es la función de enlace que mapea la expectativa, $g$ es la distribución de probabilidad, $Y$ los resultados y $X$ los predictores, $\beta$ son parámetros lineales y $\sigma^2$ la varianza.

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

$g$

[1] Cribari-Neto, F. y Zeileis, A. (2009). Regresión beta en R.

generalized-linear-model beta-regression dirichlet-regression

— Firebug
fuente

(+1) Relacionado: stats.stackexchange.com/a/189196 .

— ameba dice Reinstate Monica

@amoeba Gracias por el enlace, no había visto esa pregunta antes.

— Firebug

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

@CliffAB Después de leer los comentarios bajo la respuesta de Tim a continuación, parece que la parametrización de la Beta conduce a la no ortogonalidad de los parámetros, lo que parece ser un requisito para los GLM de McCullagh-Nelder.

— Firebug

Creo que esta respuesta breve: stats.stackexchange.com/a/18812/28666 es relevante y se agrega a las respuestas aquí (insinuando por qué los GLM se definieron originalmente con la familia de dispersión exponencial).

— ameba dice Reinstate Monica

Respuestas:

Verifique la referencia original:

Ferrari, S. y Cribari-Neto, F. (2004). Regresión beta para modelar tasas y proporciones. Journal of Applied Statistics, 31 (7), 799-815.

Como señalan los autores, los parámetros de la distribución beta re-parametrizada están correlacionados, por lo que

$\beta$ $\phi$

Entonces, aunque el modelo parece un GLM y grazna como un GLM, no se ajusta perfectamente al marco.

— Tim
fuente

+1 pero sería genial tener una respuesta más detallada. Yo, personalmente, no entiendo la cita (incluso después de abrir el documento vinculado). ¿Por qué estos parámetros no son ortogonales en la regresión beta? ... ¿Por qué se requiere esto para los GLM? ... Etc.

— ameeba dice Reinstate Monica el

@amoeba honestamente, no soy el tipo de persona que puede darte una respuesta detallada al respecto. Nunca estuve tan interesado en la teoría detrás de GLM para tener una comprensión lo suficientemente profunda de tales sutilezas. McCullagh y Nelder mencionan este requisito, pero necesitaría revisar su libro para ver por qué es exactamente importante. Si alguien ofreciera una explicación detallada de por qué esto es un problema, consideraría otorgar una recompensa por dicha respuesta.

— Tim

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

@AchimZeileis Recordé que vi tu nombre en CV. Lo que dices tiene mucho sentido. ¿Quizás le gustaría transformar su comentario para responder agregando algo más de razón? Como dije, estaría feliz de otorgar recompensas a alguien que dé respuestas suficientemente detalladas para la pregunta.

— Tim

@Tim intentará hacerlo cuando tenga más tiempo. Es por eso que pensé que un comentario rápido es mejor que nada ...

— Achim Zeileis

La respuesta de @probabilityislogic está en el camino correcto.

La distribución beta está en la familia exponencial de dos parámetros . Los modelos GLM simples descritos por Nelder y Wedderburn (1972) no incluyen todas las distribuciones en la familia exponencial de dos parámetros.

En términos del artículo de N&W, el GLM se aplica a las funciones de densidad del siguiente tipo (más tarde se denominó familia de dispersión exponencial en Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

$f()$ $\theta = f(\mu) = f(X\beta)$

Entonces podríamos reescribir la distribución anterior también:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (f (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

La familia exponencial de dos parámetros es:

f (z; θ_{1}, θ_{2}) = e x p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

$\theta$

La diferencia es clara, y tampoco es posible poner la distribución beta en forma de GLM.

Sin embargo, me falta la comprensión suficiente para crear una respuesta más intuitiva y bien informada (tengo la sensación de que puede haber relaciones mucho más profundas y elegantes con una variedad de principios fundamentales). El GLM generaliza la distribución del error mediante el uso de un modelo de dispersión exponencial variable única en lugar de un modelo de mínimos cuadrados y generaliza la relación lineal en la media, mediante el uso de una función de enlace.

$\alpha(\phi)$ $\theta$ $\theta$

— Sexto Empírico
fuente

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

@amoeba beta es una distribución familiar exponencial bivariada, por ejemplo, www2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

— Tim

No estoy seguro si no es del todo posible, incluso con dispersión fija. Al menos no de acuerdo con la glm como lo indica N&W (lo que sí sé es que muchas personas hacen cosas mucho más difíciles para resolver la regresión beta). Editaré la respuesta para mostrar qué sucede y dónde sale mal, si tratamos de seguir el mismo camino de mínimos cuadrados repesados iterativos.

— Sextus Empiricus

He editado la respuesta un poco. 1) Mi descripción inicial de las familias y los modelos de dispersión era incorrecta. El GLM incluye todas las distribuciones de las familias exponenciales de un parámetro porque no es solo esa función de densidad, sino también una función de enlace. 2) En términos de una mejor vista intuitiva, no podría llegar lejos y no espero llegar lejos pronto. Los modelos GLM se relacionan con el modelo clásico en varias representaciones, agregando ponderaciones a la formulación matricial de los procedimientos de ajuste, derivados de las funciones de log-verosimilitud, incluidos los términos con la función de enlace y la varianza, .....

— Sextus Empiricus

Me tomé la libertad de editar un poco tu respuesta, espero que estés bien con las ediciones. Además, parece que esta respuesta stats.stackexchange.com/a/18812/28666 sugiere por qué N&W utilizó esta familia de distribución en particular y no una más amplia.

— ameba dice Reinstate Monica

No creo que la distribución beta sea parte de la familia de dispersión exponencial . Para obtener esto, necesitas tener una densidad

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

$c ()$ $d ()$ $c'(\theta)$ $\tau c''(\theta)$ $\theta$

La distribución beta no se puede escribir de esta manera - una manera de ver esto es por señalar que no hay plazo en el logaritmo de verosimilitud - tiene y en lugar $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

Otra forma de ver que beta no es una familia de dispersión exponencial es que puede escribirse como donde y son independientes y ambas siguen distribuciones gamma con el mismo parámetro de escala (y gamma es familia exponencial). $y=\frac {x}{x+z}$ $x$ $z$

— probabilidadislogica
fuente

Esta respuesta no es correcta como está escrita. Una forma de ver esto es que, de acuerdo con la lógica presentada, las distribuciones de Bernoulli y binomial, por ejemplo, tampoco estarían en la clase de familias exponenciales.

— cardenal

Lo siento, tienes razón en que el ejemplo que di fue erróneo. (Advertencia: ¡la aritmética mental y el uso móvil de CrossValidated pueden ser peligrosos!) Sin embargo, mi punto sigue en pie. Esta respuesta es incorrecta porque opta por un concepto muy "definido" de "familia exponencial", mucho más limitado que cualquier fuente convencional o uso práctico.

— cardenal

Hmm Wikipedia enumera beta en la lista de distribuciones familiares exponenciales.

— ameba dice Reinstate Monica

Es cierto - Estaba pensando en la familia exponencial naturales - que es un caso especial

— probabilityislogic

El parámetro en la función también se describe mediante una función de enlace, y luego esta función de distribución estrechamente definida se vuelve más amplia, incluidas todas las distribuciones de la familia exponencial de un parámetro, pero solo algunas de las dos familias exponenciales de parámetro.

θ

$\theta$

— Sextus Empiricus