¿Cuál es la complejidad temporal de la regresión de lazo?

¿Cuál es la complejidad asintótica del tiempo de la regresión Lasso a medida que crece el número de filas o columnas?

Recuerde que el lazo es un modelo lineal con una regularización $l_1$ .

Encontrar los parámetros puede formularse como un problema de optimización sin restricciones, donde los parámetros están dados por

$\arg \min_\beta ||y - X\beta||^2 + \alpha||\beta||_1$

En la formulación restringida, los parámetros están dados por

$\arg \min_\beta ||y - X\beta||^2 s.t.||\beta||_1 < \alpha$

Que es un problema de programación cuadrática y por lo tanto polinomial.

Casi todas las rutinas de optimización convexa, incluso para cosas no lineales flexibles como las redes neuronales, se basan en el cálculo de la derivada de sus parámetros de wrt objetivo. Sin embargo, no puede tomar la derivada de . Como tal, confías en diferentes técnicas. Existen muchos métodos para encontrar los parámetros. Aquí hay un artículo de revisión sobre el tema, Optimización de mínimos cuadrados con regularización de la norma L1 . La complejidad temporal de la optimización convexa iterativa es un poco difícil de analizar, ya que depende de un criterio de convergencia. En general, los problemas iterativos convergen en menos épocas a medida que aumentan las observaciones.$\alpha||w||_1$

Si bien @JacobMick proporciona una visión general más amplia y un enlace a un documento de revisión, permítame darle una "respuesta de acceso directo" (que puede considerarse un caso especial de su respuesta).

Deje que el número de variables candidatas (características, columnas) sea y el tamaño de la muestra (número de observaciones, filas) sea n . Considere implementar LASSO usando el algoritmo LARS ( Efron et al., 2004 ). La complejidad computacional de LASSO es O ( K 3 + K 2 n ) ( ibid. )$K$$n$$\mathcal{O}(K^3 + K^2 n)$

• Para , K 3 < K 2 n y la complejidad computacional de LASSO es O ( K 2 n ) , que es la misma que la de una regresión con variables K ( Efron et al., 2004 , p. 443-444 ; también citado en Schmidt, 2005 , sección 2.4; para la complejidad computacional de una regresión, ver esta publicación ).$K<n$$K^3 < K^2 n$$\mathcal{O}(K^2 n)$$K$
• Para , y la complejidad computacional de LASSO es ( Efron et al., 2004 ).$K \geqslant n$$K^3 \geqslant K^2 n$$\mathcal{O}(K^3)$

Referencias

• Efron, Bradley y col. "Regresión de ángulo mínimo". The Annals of Statistics 32.2 (2004): 407-499.
• Schmidt, Mark. "Optimización de mínimos cuadrados con la regularización de la norma l1". Informe del proyecto CS542B (2005).