¿Por qué glmnet utiliza una red elástica "ingenua" del papel original de Zou & Hastie?

El documento original de red elástica Zou & Hastie (2005) La regularización y la selección de variables a través de la red elástica introdujeron la función de pérdida neta elástica para la regresión lineal (aquí supongo que todas las variables están centradas y escaladas a la varianza unitaria): pero lo llamó "red elástica ingenua". Argumentaron que realiza una doble contracción (lazo y cresta), tiende a contraerse demasiado y puede mejorarse volviendo a escalar la solución resultante de la siguiente manera: Dieron algunos argumentos teóricos y evidencia experimental de que esto conduce a un mejor rendimiento.

L = \frac{1}{n} ‖ y - X β ‖^{2} + λ_{1} ‖ β ‖_{1} + λ_{2} ‖ β ‖_{2}^{2},

$\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,$

{\hat{β}}^{*} = (1 + λ_{2}) \hat{β} .

$\hat\beta^* = (1+\lambda_2)\hat\beta.$

Sin embargo, el glmnetartículo posterior Friedman, Hastie y Tibshirani (2010) Las rutas de regularización para modelos lineales generalizados a través del descenso coordinado no utilizaron este cambio de escala y solo tenían una breve nota al pie de página que decía

Zou y Hastie (2005) llamaron a esta pena la red elástica ingenua , y prefirieron una versión reescalada que llamaron red elástica. Dejamos caer esta distinción aquí.

No se da más explicación allí (ni en ninguno de los libros de texto de Hastie et al.). Me resulta un tanto desconcertante. ¿Los autores dejaron de reescalar porque lo consideraron demasiado ad hoc ? porque funcionó peor en algunos experimentos posteriores? porque no estaba claro cómo generalizarlo al caso GLM? No tengo idea. Pero, en cualquier caso, el glmnetpaquete se hizo muy popular desde entonces y, por lo tanto, mi impresión es que hoy en día nadie está usando el cambio de escala de Zou & Hastie, y la mayoría de las personas probablemente ni siquiera son conscientes de esta posibilidad.

Pregunta: después de todo, ¿esto fue una buena idea o una mala idea?

Con la glmnetparametrización, el cambio de escala de Zou y Hastie debe ser

{\hat{β}}^{*} = (1 + λ (1 - α)) \hat{β} .

$\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.$

— ameba dice Reinstate Monica
fuente

Dado que en el documento de Glment, el objetivo es adaptarse a toda la ruta de regularización, posiblemente la idea es que el cambio de escala solo sería una transformación monotónica de la ruta.

— Matthew Drury

@MatthewDrury Eso es cierto, pero aún así si Friedman et al. creía que reescalar es una buena idea, no lo dejarían fuera del papel y, en particular, del glmnetcódigo. No está disponible allí ni siquiera como una característica opcional (su código anterior que acompañaba al documento de 2005, por supuesto, admite la reescalada).

— ameba dice Reinstate Monica

Desafortunadamente, el código glmnet público es completamente ilegible ...

— Matthew Drury

Envié esta pregunta por correo electrónico a Zou y a Hastie y obtuve la siguiente respuesta de Hastie (espero que no le importe que lo cite aquí):

Creo que en Zou et al estábamos preocupados por el sesgo adicional, pero, por supuesto, el cambio de escala aumenta la variación. Por lo tanto, solo cambia uno a lo largo de la curva de compensación de sesgo-varianza. Pronto incluiremos una versión de lazo relajado que es una mejor forma de reescalado.

Interpreto estas palabras como un aval de alguna forma de "reescalado" de la solución de red elástica de vainilla, pero Hastie ya no parece respaldar el enfoque particular presentado en Zou & Hastie 2005.

A continuación, revisaré brevemente y compararé varias opciones de reescalado.

Me va a utilizar glmnetparametrización de la pérdida con la solución indicada como .

L = \frac{1}{2 n} ‖ y - β_{0} - X β ‖^{2} + λ (α ‖ β ‖_{1} + (1 - α) ‖ β ‖_{2}^{2} / 2),

$\mathcal L = \frac{1}{2n}\big\lVert y - \beta_0-X\beta\big\rVert^2 + \lambda\big(\alpha\lVert \beta\rVert_1 + (1-\alpha) \lVert \beta\rVert^2_2/2\big),$

\hat{β}

$\hat\beta$

El enfoque de Zou & Hastie es usarTenga en cuenta que esto produce un cambio de escala no trivial para cresta pura cuando que posiblemente no tenga mucho sentido. Por otro lado, esto no produce un cambio de escala para lazo puro cuando , a pesar de varias afirmaciones en la literatura de que el estimador de lazo podría beneficiarse de un cambio de escala (ver más abajo).
${\hat{β}}_{rescaled} = (1 + λ (1 - α)) \hat{β} .$ $\hat\beta_\text{rescaled} = \big(1+\lambda(1-\alpha)\big)\hat\beta.$ $\alpha=0$ $\alpha=1$
Para el lazo puro, Tibshirani sugirió usar el híbrido lasso-OLS, es decir, usar el estimador OLS usando el subconjunto de predictores seleccionados por lazo. Esto hace que el estimador sea consistente (pero deshace la contracción, lo que puede aumentar el error esperado). Se puede usar el mismo enfoque para red elástica pero el problema potencial es que la red elástica puede seleccionar más de predictores y OLS se descompondrán (en contraste, el lazo puro nunca selecciona más de predictores).
${\hat{β}}_{elastic-OLS-hybrid} = OLS (X_{i} ∣ {\hat{β}}_{i} \neq 0)$ $\hat\beta_\text{elastic-OLS-hybrid}= \text{OLS}(X_i\mid\hat\beta_i\ne 0)$ $n$ $n$
Lazo relajado mencionado en el correo electrónico de Hastie citado anteriormente es una sugerencia para ejecutar otro lazo en el subconjunto de predictores seleccionados por el primer lazo. La idea es utilizar dos penalizaciones diferentes y seleccionar ambas mediante validación cruzada. Se podría aplicar la misma idea a la red elástica, pero esto parecería requerir cuatro parámetros de regularización diferentes y ajustarlos es una pesadilla.

Sugiero un esquema de red elástica relajado más simple : después de obtener , realice una regresión de cresta con y la misma en el subconjunto seleccionado de predictores:Esto (a) no requiere ningún parámetro de regularización adicional, (b) funciona para cualquier número de predictores seleccionados, y (c) no hace nada si uno comienza con una cresta pura. Suena bien para mí. $\hat\beta$ $\alpha=0$ $\lambda$
${\hat{β}}_{relaxed-elastic-net} = Ridge (X_{i} ∣ {\hat{β}}_{i} \neq 0) .$ $\hat\beta_\text{relaxed-elastic-net}= \text{Ridge}(X_i\mid\hat\beta_i\ne 0).$

Actualmente estoy trabajando con un pequeño conjunto de datos con y , en donde es bien predijo por los pocos ordenadores principales de . Compararé el rendimiento de los estimadores anteriores usando 100 veces la validación cruzada repetida 11 veces. Como medida de rendimiento, estoy usando un error de prueba, normalizado para producir algo así como un R cuadrado:En la figura siguiente, las líneas discontinuas corresponden al estimador neto elástico de vainilla y tres subtramas corresponden a los tres enfoques de reescalado: $n\ll p$ $n=44$ $p=3000$ $y$ $X$

R_{test}^{2} = 1 - \frac{‖ y_{test} - {\hat{β}}_{0} - X_{test} \hat{β} ‖^{2}}{‖ y_{test} - {\hat{β}}_{0} ‖^{2}} .

$R^2_\text{test} = 1-\frac{\lVert y_\text{test} - \hat\beta_0 - X_\text{test}\hat\beta\rVert^2}{\lVert y_\text{test} - \hat\beta_0\rVert^2}.$

\hat{β}

$\hat\beta$

Entonces, al menos en estos datos, los tres enfoques superan al estimador de la red elástica de vainilla, y la "red elástica relajada" funciona mejor.

— ameba dice Reinstate Monica
fuente