El coeficiente variable aumenta, luego disminuye a medida que disminuye lambda (LASSO)

Estoy retrocediendo un predictor continuo en más de 60 variables (tanto continuas como categóricas) usando LASSO (glmnet).

Al examinar el gráfico de traza variable, noto que a medida que aumenta el registro lambda, una de las variables clave tiene un coeficiente que en realidad aumenta. Luego, después de cierto punto, comienza a disminuir como cabría esperar.

Para asegurarme de que esto no fue una casualidad, ejecuté 10 modelos con bootstraps y obtuve resultados muy similares.

¿Es esto posible o hay un problema con los datos? Si es legítimo, ¿qué nos dice esta tendencia en el coeficiente de la variable sobre la variable y la relación con la respuesta?

lasso regularization glmnet

— matsuo_basho
fuente

No solo es posible, es un hecho muy común.

Tenga en cuenta que la pena es $\ \lambda\,||\beta||_1$ . Por lo tanto, algunos componentes pueden aumentar en magnitud mientras otros disminuyan, sin aumentar la norma en general. A veces como $\lambda$ aumenta, uno (o algunos) coeficientes puede aumentar de tamaño a expensas de otros que en conjunto disminuyen al menos tan rápido, porque ayuda a mantener baja la tasa de aumento en la falta de ajuste del término más que reducirlos todos juntos haría.

Puede que quieras trazar lo que le sucede a $\sum_i |\beta_i|$ como $\log\lambda$ aumenta

A menudo verá este tipo de comportamiento cuando haya alguna correlación entre los predictores: puede haber una especie de efecto de sustitución.

Tenga en cuenta que en su trama superior $|\beta_4|+|\beta_{11}|$ es casi siempre decreciente o bastante estable (el pequeño aumento ocasional se compensará con disminuciones en los coeficientes de otras variables)

— Glen_b -Reinstate a Monica
fuente

¿Qué dice esta dinámica sobre el efecto de la variable en la respuesta en comparación con si solo estuviera disminuyendo con un aumento de lambda?

— matsuo_basho

No estoy exactamente seguro de lo que está preguntando allí, pero debe considerar el efecto de todas las variables juntas. Por ejemplo, si

β_{4} - β_{11}

$\beta_4-\beta_{11}$ es casi constante en mucho de ese aumento de

β_{4}

$\beta_4$ con incremento

λ

$\lambda$ , como vemos en su gráfico superior, probablemente desee considerar cuál es el efecto de ese contraste. El efecto de

x_{4}

$x_4$ por sí solo puede ser desconcertante porque te estás perdiendo la mitad de la historia allí.

— Glen_b: reinstala a Mónica el

+1, pero ¿sería posible obtener un ejemplo constructivo que muestre cómo y por qué suceden tales cosas?

— Richard Hardy

Permítanme proporcionar algunos antecedentes de por qué estoy haciendo la pregunta. Me gustaría identificar las variables más importantes en el modelo. De los modelos que ejecuto, vemos que las variables 4 y las variables 11 o 24 están consistentemente en el modelo cuando lambda es alta. Por lo tanto, podemos decir que son importantes. Aunque la variable 4 generalmente tiene un coeficiente positivo, la forma en que cambia es un poco confusa. ¿Esta dinámica nos dice algo sobre la interpretación del efecto de las variables en la respuesta?

— matsuo_basho