¿Es la regresión con la regularización L1 lo mismo que Lasso, y con la regularización L2 lo mismo que la regresión por cresta? ¿Y cómo escribir "Lazo"?

Soy un ingeniero de software que aprende el aprendizaje automático, particularmente a través de los cursos de aprendizaje automático de Andrew Ng . Mientras estudiaba la regresión lineal con la regularización , encontré términos que son confusos:

Regresión con regularización L1 o regularización L2
LAZO
Regresión de cresta

Entonces mis preguntas:

¿La regresión con la regularización L1 es exactamente igual a LASSO?
¿Es la regresión con regularización L2 exactamente igual a la Regresión de cresta?
¿Cómo se usa "LASSO" en la escritura? ¿Debería ser la "regresión de LASSO"? He visto el uso como " el lazo es más apropiado ".

Si la respuesta es "sí" para 1 y 2 anteriores, ¿por qué hay diferentes nombres para estos dos términos? ¿"L1" y "L2" provienen de informática / matemáticas, y "LASSO" y "Ridge" de estadísticas?

El uso de estos términos es confuso cuando veo publicaciones como:

" ¿Cuál es la diferencia entre la regularización L1 y L2? " (Quora.com)

"¿ Cuándo debo usar lazo frente a cresta? " (Stats.stackexchange.com)

— stackoverflowuser2010
fuente

Aunque estoy respondiendo tarde. Esta completa guía para principiantes para Regresión lineal, de cresta y lazo ayudará a los principiantes a comprender estos términos claramente. Ver aquí

— aprendiz el

Sí.
Sí.
LASSO es en realidad un acrónimo (operador de selección y contracción menos absoluta), por lo que debe escribirse en mayúscula, pero la escritura moderna es el equivalente léxico de Mad Max . Por otro lado, Amoeba escribe que incluso los estadísticos que acuñaron el término LASSO ahora usan la representación en minúsculas (Hastie, Tibshirani y Wainwright, Statistical Learning with Sparsity ). Uno solo puede especular sobre la motivación para el cambio. Si estás escribiendo para una prensa académica, generalmente tienen una guía de estilo para este tipo de cosas. Si está escribiendo en este foro, está bien, y dudo que a alguien le importe.

$L$ $L^p$ $p>0$

‖ x ‖_{p} = (| x_{1} |^{p} + | x_{2} |^{p} + . . . + | x_{n} |^{p})^{\frac{1}{p}}

$\|x\|_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$

p \geq 1

$p\ge 1$

0 < p < 1

$0<p<1$

No estoy seguro de cuándo se realizó la conexión entre Ridge y LASSO.

En cuanto a por qué hay varios nombres, es solo una cuestión de que estos métodos se desarrollaron en diferentes lugares en diferentes momentos. Un tema común en estadística es que los conceptos a menudo tienen múltiples nombres, uno para cada subcampo en el que se descubrió de forma independiente (funciones del núcleo frente a funciones de covarianza, regresión del proceso gaussiano frente a Kriging, AUC frente a estadística). La regresión de la cresta probablemente debería llamarse regularización de Tikhonov, ya que creo que tiene el primer reclamo del método. Mientras tanto, LASSO se introdujo en 1996, ¡mucho más tarde que el método de "cresta" de Tikhonov! $c$

— Sycorax dice reinstalar a Mónica
fuente

+1. En el muy reciente libro de texto de Estadística de Aprendizaje con Sparsity , Hastie, Tibshirani y Wainwright usan "lazo" en minúscula en todas partes y también escriben lo siguiente (nota al pie de página en la página 8): "Un lazo es una cuerda larga con un lazo a la vez final, utilizado para atrapar caballos y ganado. En un sentido figurado, el método "lassos" los coeficientes del modelo. En el documento original de lazo (Tibshirani 1996), el nombre "lazo" también se introdujo como acrónimo de "Menos absoluto" Operador de selección y contracción. ”" (CC a @ stackoverflowuser2010.)

— ameba dice Reinstate Monica

Y continúan: "Pronunciación: en los Estados Unidos" lasso "tiende a pronunciarse" lass-oh "(oh como en la cabra), mientras que en el Reino Unido" lass-oo ". En el OED (2ª edición, 1965):" lasso es pronunciado lasoo por quienes lo usan, y por la mayoría de los ingleses también. ":-)

— ameeba dice Reinstate Monica

(+1) A medida que las siglas propias (esas abreviaturas pronunciadas como palabras) ganan vigencia, su capitalización tiende a irse por el tablero. Ha pasado un tiempo desde que vi 'RADAR' o 'LÁSER'.

— Scortchi - Restablece a Monica

@Scortchi SCUBA también. Mientras tanto, tenemos personas que escriben STATA y MATLAB como si fueran siglas.

— shadowtalker

@ssdecontrol: ¿Debería "ANOVA" ser "AnOVa" entonces?

— Scortchi - Restablece a Monica