¿Puedo usar algoritmos glm para hacer una regresión logística multinomial?

14

Estoy usando spotfire (S ++) para el análisis estadístico en mi proyecto y tengo que ejecutar una regresión logística multinomial para un gran conjunto de datos. Sé que el mejor algoritmo habría sido mlogit, pero desafortunadamente eso no está disponible en s ++. Sin embargo, tengo la opción de usar el algoritmo glm para esta regresión. Quiero aclarar dos cosas aquí:

1. ¿Tengo entendido que glm también se puede usar para ejecutar Regresión logística multinomial?

Si la respuesta a la pregunta anterior es sí, ¿qué parámetros se deben usar en glm algo?

Gracias,

generalized-linear-model logistic

— Raghvendra
fuente

9

Sí, con un Poisson GLM (modelo lineal de registro) puede ajustar modelos multinomiales. Por lo tanto, los modelos multinomiales logísticos o log lineales de Poisson son equivalentes.

ver recuentos aleatorios $y_{ij}$ como variables aleatorias de Poisson con medias y especificar lo siguiente en el siguiente modelo log-lineal $μ_{ij}$

$\log(μ_{ij}) = o + p_i + c_j + x_iβ_j$

Para obtener un modelo logit multinomial, los parámetros son:

Un parámetro para cada observación multinomial, por ejemplo, individuos o grupos. Esto asegura la reproducción exacta de los denominadores multinomiales y en realidad establece la equivalencia de Poisson y el modelo multinomial. Se fijan en la probabilidad multinomial, pero al azar en la probabilidad de Poisson. $p_i$

Un parámetro para cada categoría de respuesta. De esta manera, los recuentos pueden ser diferentes para cada categoría de respuesta y los márgenes pueden ser no uniformes. $c_j$

Lo que realmente le interesa son los términos de interacción que representan los efectos de en las probabilidades de registro de la respuesta . $x_iβ_j$ $x_i$ $j$

Las probabilidades de log pueden calcularse simplemente mediante . Es el registro de probabilidades de que la observación caiga en la categoría de respuesta j en relación con la categoría de respuesta . $\log(μ_{ij}/μ_{ik}) = (c_j-c_k) +x_i(β_j-β_k)$ $k$

Luego, los parámetros en el modelo logit multinomial (denotado en letras latinas) se pueden obtener como diferencias entre los parámetros en el modelo log-lineal correspondiente, es decir, y . $a_j = α_j-α_k$ $b_j = β_j-β_k$

— Momo
fuente

Gracias momo Esto es realmente útil. Mi software me brinda la opción de elegir Family como "posición" y Link como "log" mientras ejecuto el algoritmo GLM. Así que creo que eso es exactamente lo que se requiere aquí.

— Raghvendra

7

Sí, puede, y de hecho esto es precisamente lo que hace el paquete R GLMNET para la regresión logística multinomial. Escribiendo la función log-verosimilitud como:

L o g L = \sum_{i} \sum_{c} n_{i c} \log (p_{i c})

$LogL=\sum_i\sum_cn_{ic}\log(p_{ic})$

Donde denota observaciones denota las categorías multinomiales es el recuento observado para la observación en la categoría . Las observaciones se definen por sus combinaciones de covariables únicas, o alternativamente podemos permitir duplicados y establecer cada para que tengamos datos categóricos "binarios" (... no sé cuál es el plural de binario ... ..). Para la regresión logística, las probabilidades se definen como: $i$ $c$ $n_{ic}$ $i$ $c$ $n_{ic}=1$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\sum_{c^{'}} \exp (x_{i}^{T} β_{c^{'}})}

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\sum_{c'}\exp\left(x_{i}^T\beta_{c'}\right)}$

Esta es una parametrización de rango inferior al completo y puede ser útil si está utilizando probabilidad penalizada (como GLMNET). En principio, podríamos usar IRLS / newton rhapson en la matriz beta completa , sin embargo, terminará con matrices de peso no diagonales. Alternativamente, podemos optimizar el "estilo Gibbs" arreglando todas las categorías betas excepto una, y luego optimizando solo esa categoría. Luego pase a la siguiente categoría, y así sucesivamente. Puedes ver eso porque las probabilidades tienen la forma $(\beta_1,\dots,\beta_{C})$

p_{i c} = \frac{\exp (x_{i}^{T} β_{c})}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial A}{\partial β_{c}} = 0

$p_{ic}=\frac{\exp\left(x_{i}^T\beta_{c}\right)}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial A}{\partial \beta_c}=0$

p_{i c^{'}} = \frac{B}{\exp (x_{i}^{T} β_{c}) + A} where \frac{\partial B}{\partial β_{c}} = 0

$p_{ic'}=\frac{B}{\exp\left(x_{i}^T\beta_{c}\right)+A}\text{ where }\frac{\partial B}{\partial \beta_c}=0$

Que la expansión cuadrática sobre tendrá la misma forma que para la regresión logística, pero con los pesos de IRLS calculados de manera diferente, aunque todavía tenemos en el usual actualización de beta. $\beta_c$ $W_{ii,c}=n_{ic}p_{ic}(1-p_{ic})$ $(X^TWX)^{-1}X^TWY$

— probabilidadislogica
fuente

Estoy tratando de implementar la regresión logística multinomial usando la variante IRLS QR Newton. El código funciona para otros modelos GLM, pero no ha sido capaz de hacer que mlogit funcione. ¿Sería el

el jacobiano de la función softmax que me permitiría calcular solo el Cholesky una vez por iteración en lugar de

veces para resolver cada conjunto de pesos por resultado?

W

$W$

k

$k$

— José Bayoán Santiago Calderón

Dado que no sería diagonal, no se escalaría bien con un gran número de observaciones, ¿no? Si va al "estilo Gibbs", ¿se restaría los parámetros de la categoría base de la matriz

antes o después de la predicción?

β

$\beta$

— José Bayoán Santiago Calderón el

Cuando habla de "cholesky once" versus "cholesky k veces", debe tener en cuenta que las matrices son de dimensiones diferentes: si hay

columnas en

entonces "una vez" es para una matriz de tamaño

y el "k veces" es para una matriz de tamaño

p

$p$

X

$X$

p k

$pk$

p

$p$

— probabilistico