¿Por qué la pena de Lasso es equivalente al doble exponencial (Laplace) anterior?

27

He leído en varias referencias que la estimación de Lasso para el vector de parámetro de regresión es equivalente al modo posterior de en el que la distribución previa para cada es una distribución exponencial doble (también conocida como distribución de Laplace). $B$ $B$ $B_i$

He estado tratando de probar esto, ¿alguien puede desarrollar los detalles?

— Wintermute
fuente

@ user777 Hoy estuve hojeando ese libro. No se pudo encontrar nada relevante.

— Wintermute

3

Relacionado: stats.stackexchange.com/questions/177210/…

— Tim

30

Para simplificar, consideremos una sola observación de una variable tal que $Y$

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ y el anterior incorrecto . $f(\sigma) \propto \mathbb{1}_{\sigma>0}$

Entonces la densidad conjunta de es proporcional a $Y, \mu, \sigma^2$

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Tomar un registro y descartar términos que no involucren , $\mu$

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Por lo tanto, el máximo de (1) será una estimación MAP y, de hecho, es el problema de Lazo después de que reparametricemos $\tilde \lambda = \lambda \sigma^2$ .

La extensión de la regresión es clara: reemplace con en la probabilidad Normal, y establezca el anterior en para que sea una secuencia de distribuciones independientes de Laplace . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
fuente

25

Esto es obvio al inspeccionar la cantidad que el LASSO está optimizando.

Tome lo anterior para como Laplace independiente con media cero y algo de escala . $\beta_i$ $\tau$

Entonces . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

El modelo para los datos es el supuesto de regresión habitual . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Ahora menos dos veces el registro de la parte posterior es de la forma

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Deje y obtenemos -posterior de $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

El estimador MAP para minimiza lo anterior, lo que minimiza $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Entonces el estimador MAP para es LASSO. $\beta$

(Aquí traté a como solucionado de manera efectiva, pero puedes hacer otras cosas con él y aún así aparece LASSO). $\sigma^2$

Editar: Eso es lo que obtengo por componer una respuesta fuera de línea; No vi una buena respuesta ya fue publicada por Andrew. El mío realmente no hace nada que el suyo ya no haga. Dejaré el mío por ahora porque da un par de detalles más del desarrollo en términos de . $\beta$

— Glen_b -Reinstate a Monica
fuente

1

Parece haber una diferencia en su respuesta y la de Andrew. Su respuesta tiene la forma correcta del regularizador: , mientras que Andrew tiene, donde en regresión lineal, obtenemos .

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR Creo que estás malinterpretando el μ en la respuesta de Andrew. El μ allí corresponde a a en una regresión con solo una intersección, no a en una regresión múltiple; el mismo argumento sigue para el caso más grande (tenga en cuenta los paralelos con mi respuesta) pero es más fácil de seguir en el caso simple. La respuesta de Andrew es esencialmente correcta, pero no conecta todos los puntos con la pregunta original, dejando una pequeña cantidad para que el lector la complete. Creo que nuestras respuestas son consistentes (hasta algunas diferencias menores relacionadas con σ que pueden explicarse) y que se merecía totalmente la garrapata

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b -Reinstate a Monica el