¿Existe un conjunto claro de condiciones bajo las cuales las rutas de lazo, cordón o solución de red elástica son monótonas?


18

La pregunta ¿Qué concluir de este diagrama de lazo (glmnet) demuestra caminos de solución para el estimador de lazo que no son monótonos? Es decir, algunos de los cofficientes crecen en valor absoluto antes de reducirse.

He aplicado estos modelos a varios tipos diferentes de conjuntos de datos y nunca he visto este comportamiento "en la naturaleza", y hasta hoy había asumido que siempre eran monótonos.

¿Existe un conjunto claro de condiciones bajo las cuales se garantiza que las rutas de solución sean monótonas? ¿Afecta la interpretación de los resultados si las rutas cambian de dirección?


Monótono en qué sentido? No me parece muy significativo si quieres tratarlo como un gráfico de alguna función.
Henry.L

44
λ1λ2(β^λ2)j(β^λ1)jjβ^λ=argminβ12nyXβ22+λβ1

2
nota: entender la forma en que el lazo reduce los coeficientes es el tema de esta pregunta y de stats.stackexchange.com/questions/145299/…
user795305

1
No sé cómo me perdí esto antes, la pregunta se responde por lazo en la respuesta del OP a su propia pregunta en la pregunta anterior.
user795305

Respuestas:


2

Te puedo dar una suficiente condición para la ruta a ser monótona: un diseño ortonormal de X .

Supongamos una matriz de diseño ortonormal, es decir, con variables en , tenemos que . Con un diseño ortonormal, los coeficientes de regresión de OLS son simplemente .pXXXn=Ipβ^ols=Xyn

Las condiciones de Karush-Khun-Tucker para LASSO se simplifican así a:

Xyn=β^lasso+λsβ^ols=β^lasso+λs

Donde es el subdegradado. Por lo tanto, para cada tenemos que , y nosotros tener una solución de forma cerrada para las estimaciones de lazo:sj{1,,p}β^jols=β^jlasso+λsj

β^jlasso=sign(β^jols)(|β^jols|λ)+

Lo cual es monótono en . Si bien esto no es una condición necesaria, vemos que la no monotonicidad debe venir de la correlación de las covariables en .λX

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.