¿Puede aumentar cuando

11

Si $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , puede $\|\beta^*\|_2$ aumentar cuando $\lambda$ aumenta?

Creo que esto es posible. Aunque $\|\beta^*\|_1$ no aumenta cuando $\lambda$ aumenta (mi prueba ), $\|\beta^*\|_2$ puede aumentar. La siguiente figura muestra una posibilidad. Cuando $\lambda$ aumenta, si $\beta^*$ viaja (linealmente) de $P$ a $Q$ , entonces $\|\beta^*\|_2$ aumenta mientras que $\|\beta^*\|_1$ disminuye. Pero no sé cómo construir un ejemplo concreto (es decir, construir $X$ e $y$ ), de modo que el perfil de $\beta^*$ demuestre este comportamiento. ¿Algunas ideas? Gracias.

ingrese la descripción de la imagen aquí

lasso

— ziyuang
fuente

10

La respuesta es sí, y tiene una prueba gráfica en allí mismo. $\ell_2$

Busque la definición de equivalencia de las normas vectoriales. Encontrará que donde es la dimensión del vector . Por lo tanto, hay un margen de para la norma , en comparación con la norma .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

De hecho, el problema que desea resolver puede expresarse como:

Encuentre tal que mientras que al mismo tiempo $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

Al cuadrado la primera desigualdad, expanda y vea que y que, suponiendo que y , obtenemos de la segunda desigualdad que debemos tener Cualquier que cumpla con estas restricciones aumentará la norma mientras disminuye la norma .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

En su ejemplo, , y y $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
fuente

Pero, ¿cómo se relaciona con la construcción de e ?

X

$X$

y

$y$

— ziyuang

3

Gracias por la respuesta de @ TommyL, pero su respuesta no es directa sobre la construcción de e . De alguna manera "resuelvo" esto yo mismo. Primero, cuando aumenta, no aumentará cuando cada disminuya monotónicamente. Esto sucede cuando es ortonormal, en el que tenemos $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Geométricamente, en esta situación, mueve perpendicularmente al contorno de la norma , por lo que no puede aumentar. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

En realidad, Hastie et al. mencionado en el artículo La regresión progresiva por etapas y el lazo monótono , una condición necesaria y suficiente de la monotonicidad de las rutas de perfil:

ingrese la descripción de la imagen aquí

En la Sección 6 del artículo, construyeron un conjunto de datos artificiales basado en funciones de base lineal por partes que viola la condición anterior, mostrando la no monotonicidad. Pero si tenemos suerte, también podemos crear un conjunto de datos aleatorios que demuestren un comportamiento similar pero de una manera más simple. Aquí está mi código R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

Deliberadamente dejé que las columnas de estuvieran altamente correlacionadas (lejos del caso ortonormal), y el verdadero tiene grandes entradas positivas y negativas. Aquí está el perfil de (no es sorprendente que solo se activen 5 variables): $X$ $\beta$ $\beta^*$

ingrese la descripción de la imagen aquí

y la relación entre y : $\lambda$ $\|\beta^*\|_2$

ingrese la descripción de la imagen aquí

Entonces podemos ver que durante algún intervalo de , aumenta a medida que aumenta. $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
fuente