¿Por qué usar las estimaciones de Lasso sobre las estimaciones de OLS en el subconjunto de variables identificado por Lasso?

Para la regresión Lasso suponga que la mejor solución (error de prueba mínimo, por ejemplo) selecciona k características, para que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k ^ {lazo}, 0, ... 0 \ derecha) .k β l un s s o = ( β l un s s o 1 , β l un s s o 2 , . . . , β l

Sabemos que $\left(\hat{\beta}_1^{lasso},\hat{\beta}_2^{lasso},...,\hat{\beta}_k^{lasso}\right)$ es un estimación sesgada de $\left(\beta_1,\beta_2,...,\beta_k\right)$ , entonces, ¿por qué todavía tomamos $\hat{\beta}^{lasso}$ como la solución final, en lugar de la más 'razonable' $\hat{\beta}^{new}=\left(\hat{\beta}_{1:k}^{new},0,...,0\right)$ , donde $\hat{\beta}_{1:k}^{new}$ es la estimación de LS del modelo parcial $L^{new}(\beta_{1:k})=(X_{1:k}\beta-y)'(X_{1:k}\beta-y)$ . ( $X_{1:k}$ denota las columnas de $X$ correspondientes a las $k$ características seleccionadas).

En resumen, ¿por qué usamos Lasso tanto para la selección de características como para la estimación de parámetros, en lugar de solo para la selección de variables (y dejar la estimación de las características seleccionadas a OLS)?

(Además, ¿qué significa que 'Lasso puede seleccionar como máximo $n$ características'? $n$ es el tamaño de la muestra).

No creo que haya nada malo en usar LASSO para la selección de variables y luego usar OLS. De " Elementos del aprendizaje estadístico " (pág. 91)

... la contracción del lazo provoca que las estimaciones de los coeficientes distintos de cero estén sesgadas hacia cero y, en general, no son consistentes [ Nota adicional: Esto significa que, a medida que aumenta el tamaño de la muestra, las estimaciones de los coeficientes no convergen] . Un enfoque para reducir este sesgo es ejecutar el lazo para identificar el conjunto de coeficientes distintos de cero y luego ajustar un modelo lineal no restringido al conjunto de características seleccionado. Esto no siempre es factible si el conjunto seleccionado es grande. Alternativamente, uno puede usar el lazo para seleccionar el conjunto de predictores que no son cero, y luego aplicar el lazo nuevamente, pero usando solo los predictores seleccionados del primer paso. Esto se conoce como el lazo relajado(Meinshausen, 2007). La idea es utilizar la validación cruzada para estimar el parámetro de penalización inicial para el lazo, y luego nuevamente para un segundo parámetro de penalización aplicado al conjunto seleccionado de predictores. Dado que las variables en el segundo paso tienen menos "competencia" de las variables de ruido, la validación cruzada tenderá a elegir un valor menor para [el parámetro de penalización] y, por lo tanto, sus coeficientes se reducirán menos que los de la estimación inicial.$\lambda$

Otro enfoque razonable similar en espíritu al lazo relajado, sería usar el lazo una vez (o varias veces en conjunto) para identificar un grupo de variables predictoras candidatas. Luego use la mejor regresión de subconjuntos para seleccionar las mejores variables predictoras a considerar (también vea "Elementos de aprendizaje estadístico" para esto). Para que esto funcione, necesitará refinar el grupo de predictores candidatos a alrededor de 35, lo que no siempre será factible. Puede utilizar la validación cruzada o AIC como criterio para evitar un ajuste excesivo.

Si su objetivo es un rendimiento óptimo en la muestra (wrt R-cuadrado más alto), simplemente use OLS en cada variable disponible. La caída de variables disminuirá R-cuadrado.

Si su objetivo es un buen rendimiento fuera de la muestra (que generalmente es lo que es mucho más importante), entonces su estrategia propuesta sufrirá dos fuentes de sobreajuste:

• Selección de variables basadas en correlaciones con la variable de respuesta.
• Estimaciones de OLS

El propósito de LASSO es reducir las estimaciones de los parámetros hacia cero para luchar por encima de dos fuentes de sobreajuste. Las predicciones dentro de la muestra siempre serán peores que las MCO, pero la esperanza es (dependiendo de la fuerza de la penalización) para obtener un comportamiento más realista fuera de la muestra.

Con respecto a : Esto (probablemente) depende de la implementación de LASSO que esté utilizando. Una variante, Lars (regresión de ángulo mínimo), funciona fácilmente para p > n .$p > n$$p > n$

Con respecto a la pregunta de los OP de por qué Lasso puede seleccionar como máximo n funciones:

$X^{T}X$$\beta = (X^{T} X)^{-1}X^{T}Y$

$X^{T}X$