En la detección comprimida, existe una garantía de teorema de que tiene una solución dispersa única c (consulte el apéndice para obtener más detalles).

¿Existe un teorema similar para el lazo? Si existe tal teorema, no solo garantizará la estabilidad del lazo, sino que también le proporcionará una interpretación más significativa:

el lazo puede descubrir el vector de coeficiente de regresión disperso $c$ que se usa para generar la respuesta $y$ por $y = Xc$ .

Hay dos razones por las que hago esta pregunta:

1. Creo que 'el lazo favorece una solución escasa' no es una respuesta a por qué usar el lazo para la selección de funciones, ya que ni siquiera podemos decir cuál es la ventaja de las funciones que seleccionamos.

2. Aprendí que el lazo es conocido por ser inestable para la selección de funciones. En la práctica, tenemos que ejecutar muestras de arranque para evaluar su estabilidad. ¿Cuál es la razón más crucial que causa esta inestabilidad?

Apéndice:

Dado $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ es un vector disperso $\Omega$ ( $\Omega \leqslant M$ ). El proceso $y = Xc$ genera la respuesta $y$ . Si $X$ tiene el NSP (propiedad de espacio nulo) de orden $\Omega$ y la matriz de covarianza de $X$ no tiene un valor propio cercano a cero, habrá una solución única para

Lo que este teorema también dice es que si no tiene el NSP de orden , simplemente no tiene sentido resolver .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

EDITAR:

Después de recibir estas excelentes respuestas, me di cuenta de que estaba confundido cuando hacía esta pregunta.

Por qué esta pregunta es confusa:

Leí un artículo de investigación en el que tenemos que decidir cuántas características (columnas) tendrá la matriz de diseño (las características auxiliares se crean a partir de las características principales). Dado que es un problema típico de , se espera que esté bien construido para que la solución al lazo pueda ser una buena aproximación de la solución dispersa real.$X_{N \times M}$$n < p$$D$

El razonamiento se basa en el teorema que mencioné en el apéndice: si buscamos encontrar una solución dispersa , es mejor que tenga el NSP de orden .$\Omega$$c$$X$$\Omega$

Para una matriz general , si se viola , entonces$N \times M$$N > C \Omega \ln M$

no es posible una recuperación estable y robusta de de y$c$$D$$P$

$D$ corresponde a , corresponde a$X$$P$$y$

... como se esperaba de la relación , la selección del descriptor se vuelve más inestable, es decir, para diferentes conjuntos de entrenamiento, el descriptor seleccionado a menudo difiere ...$N = C \Omega \ln M$

La segunda cita es la parte que me confunde. Me parece que cuando se viola la desigualdad, no es solo que la solución sea no única (no mencionada), sino que el descriptor también se volverá más inestable.

ACTUALIZAR

Vea esta segunda publicación para conocer los comentarios de McDonald's sobre mi respuesta donde la noción de consistencia del riesgo está relacionada con la estabilidad.

1) Singularidad vs Estabilidad

Su pregunta es difícil de responder porque menciona dos temas muy diferentes: singularidad y estabilidad .

• Intuitivamente, una solución es única si se le da un conjunto de datos fijo, el algoritmo siempre produce los mismos resultados. La respuesta de Martin cubre este punto con gran detalle.

• La estabilidad, por otro lado, puede entenderse intuitivamente como una para la cual la predicción no cambia mucho cuando los datos de entrenamiento se modifican ligeramente.

La estabilidad se aplica a su pregunta porque la selección de características de Lazo se realiza (a menudo) a través de Validación cruzada, por lo tanto, el algoritmo de Lazo se realiza en diferentes pliegues de datos y puede producir resultados diferentes cada vez.

La estabilidad y el teorema de no almuerzo gratis

Usando la definición de aquí si definimos la estabilidad Uniforme como:

Un algoritmo tiene una estabilidad uniforme con respecto a la función de pérdida si se cumple lo siguiente:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Considerado como una función de , el término se puede escribir como . Decimos que el algoritmo es estable cuando disminuye como .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

entonces el "Teorema de no almuerzo gratis, Xu y Caramis (2012)" establece que

Si un algoritmo es escaso , en el sentido de que identifica características redundantes, entonces ese algoritmo no es estable (y la estabilidad uniforme enlazada no llega a cero). [...] Si un algoritmo es estable, entonces no hay esperanza de que sea escaso. (páginas 3 y 4)$\beta$

Por ejemplo, la regresión regularizada es estable y no identifica características redundantes, mientras que la regresión regularizada (Lazo) es inestable. $L_2$$L_1$

Un intento de responder tu pregunta

Creo que 'el lazo favorece una solución escasa' no es una respuesta a por qué usar el lazo para la selección de funciones

• No estoy de acuerdo, la razón por la cual Lasso se usa para la selección de características es que proporciona una solución escasa y se puede demostrar que tiene la propiedad IRF, es decir, identifica características redundantes.

¿Cuál es la razón más importante que causa esta inestabilidad?

• El teorema del almuerzo libre

Ir más lejos

Esto no quiere decir que la combinación de Cross Validation y Lasso no funcione ... de hecho, se ha demostrado experimentalmente (y con mucha teoría de apoyo) que funciona muy bien en diversas condiciones. Las palabras clave principales aquí son consistencia , riesgo, desigualdades de oráculo, etc.

Las siguientes diapositivas y documentos de McDonald y Homrighausen (2013) describen algunas condiciones bajo las cuales la selección de características de lazo funciona bien: diapositivas y papel: "El lazo, la persistencia y la validación cruzada, McDonald y Homrighausen (2013)" . El propio Tibshirani también publicó un gran conjunto de notas sobre sparcity , regresión lineal

Las diversas condiciones para la consistencia y su impacto en Lasso es un tema activo de investigación y definitivamente no es una pregunta trivial. Puedo señalar algunos trabajos de investigación que son relevantes:

• Video conferencias sobre el teorema Sin almuerzo gratis, por Xu
• HM Bøvelstad et all, Una comparación de los enfoques de selección de características para la selección de genes, (2007)
• El lazo, la persistencia y la validación cruzada, McDonald y Homrighausen (2013)
• Huang y Bowick, Resumen y discusión de: "Selección de estabilidad"
• Lim y Yu, Estimación de la estabilidad con validación cruzada, (2015)
• Una charla de Peter Buhlmann: Selección de estabilidad para datos de alta dimensión (2008) y el documento adjunto
• Wang, Nan et all, Random Lasso, (2011)
• Stackexchange mensaje: la estabilidad del modelo cuando se trata de grandes , pequeña problema$p$$n$
• Roberts, Nowakm Estabilizando el lazo contra la variabilidad de validación cruzada, (2014) que argumenta que "el lazo percentil, puede resultar en grandes reducciones tanto en la inestabilidad de selección de modelo como en el error de selección de modelo, en comparación con el lazo"
• Un impresionante conjunto de notas de Tibshirani y Wasserman sobre sparcity , regresión lineal

Comentarios de Daniel J. McDonald

Profesor asistente en la Universidad de Indiana Bloomington, autor de los dos documentos mencionados en la respuesta original de Xavier Bourret Sicotte .

Su explicación es, en general, bastante correcta. Algunas cosas que señalaría:

1. Nuestro objetivo en la serie de documentos sobre CV y ​​lazo fue demostrar que "Lasso + Cross Validation (CV)" funciona tan bien como "Lasso + óptimo "$\lambda$ . En particular, queríamos mostrar que las predicciones también lo hacen (sin modelo). Para hacer declaraciones sobre la recuperación correcta de los coeficientes (encontrar los correctos no dispersos), uno debe asumir una verdad dispersa, que no queríamos hacer.

2. La estabilidad algorítmica implica la coherencia del riesgo (primero probado por Bousquet y Elisseeff, creo). Por consistencia de riesgo, quiero decir queva a cero donde f es o el mejor predictor dentro de alguna clase si la clase está mal especificada. Sin embargo, esta es solo una condición suficiente. Se menciona en las diapositivas a las que se vinculó como, esencialmente, "una posible técnica de prueba que no funcionará, ya que el lazo no es estable".$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. La estabilidad solo es suficiente pero no necesaria. Pudimos demostrar que, en algunas condiciones, "lasso + CV" predice así como "lasso + óptimo ". El documento que cita ofrece los supuestos más débiles posibles (los de la diapositiva 16, que permiten ), pero utiliza la forma restringida de lazo en lugar de la versión lagrangiana más común. Otro documento ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) usa la versión lagrangiana. También muestra que, en condiciones mucho más fuertes, la selección del modelo también funcionará. Un documento más reciente ( https://arxiv.org/abs/1605.02214 ) de otras personas afirma mejorar estos resultados (no lo he leído con cuidado).$\lambda$$p>n$

4. En general, debido a que el lazo (o cualquier algoritmo de selección) no es estable, uno necesita un análisis más cuidadoso y / o suposiciones fuertes para demostrar que "algoritmo + CV" seleccionará el modelo correcto. No conozco las condiciones necesarias, aunque esto sería extremadamente interesante en general. No es demasiado difícil demostrar que para lambda fija, el predictor de lazo es localmente Lipschitz en el vector (creo que uno o más de los documentos de Ryan Tibshirani hacen esto). Si uno también pudiera argumentar que esto es cierto en , esto sería muy interesante y relevante aquí.$Y$$X_i$

La lección principal que me gustaría añadir a su respuesta: “estabilidad” implica "riesgo-consistencia” o ‘precisión de la predicción’ También puede implicar ‘la consistencia de estimación de parámetros’ en más supuestos Pero los medios teorema de almuerzo no es libre ‘selección’.. "no estable". El lazo no es estable incluso con lambda fija. Es ciertamente inestable, por lo tanto, cuando se combina con CV (de cualquier tipo). Sin embargo, a pesar de la falta de estabilidad, sigue siendo consistente con el riesgo y la selección es consistente con o sin CV: la singularidad es irrelevante aquí.$\rightarrow$

El lazo, a diferencia de la regresión de Ridge (ver, por ejemplo, Hoerl y Kennard, 1970; Hastie et al., 2009) no siempre tiene una solución única, aunque generalmente sí la tiene. Depende del número de parámetros en el modelo, de si las variables son continuas o discretas y del rango de su matriz de diseño. Las condiciones para la unicidad se pueden encontrar en Tibshirani (2013).

Referencias

Hastie, T., Tibshirani, R. y Friedman, J. (2009). Los elementos del aprendizaje estadístico . Serie Springer en estadísticas. Springer, Nueva York, 11ª impresión, 2ª edición.

Hoerl, AE, y Kennard, RW (1970). Regresión de cresta: estimación sesgada para problemas no ortogonales. Technometrics , 12 (1), 55-67.

Tibshirani, RJ (2013). El problema del lazo y la singularidad. Electronic Journal of Statistics , 7, 1456-1490.

Lo que causa la no unicidad.

Para los vectores (donde es un signo que indica si el cambio de aumentará o disminuirá ), siempre que sean dependientes por afinidad:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

entonces hay un número infinito de combinaciones que no cambian la solución y la norma .$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Por ejemplo:

tiene para las soluciones:$\Vert c \Vert_1 = 1$

con$0\leq \gamma \leq \frac{1}{2}$

Podemos reemplazar el vector usando$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Situaciones sin esta condición

En el artículo de Tibshirani (de la respuesta de Phil) se describen tres condiciones suficientes para que el lazo tenga una solución única.

1. Linealmente independiente Cuando el espacio nulo es nulo o equivalente cuando el rango de es igual al número de columnas (M). En ese caso, no tiene combinaciones lineales como las anteriores.$X$$X$

2. Afines independientes cuando las columnas están en posición general.$Xs$

   Es decir, ninguna columna representa puntos en un plano dimensional . Un plano dimensional k-2 puede ser parametrizado por cualquier punto como con . Con un punto en este mismo plano, tendría las condiciones con$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Tenga en cuenta que en el ejemplo las columnas , y están en una sola línea. (Sin embargo, es un poco incómodo aquí porque los signos pueden ser negativos, por ejemplo, la matriz solo tiene tampoco una solución única)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. Cuando las columnas son de una distribución continua, entonces es poco probable (probabilidad casi cero) que tenga columnas de no estén en posición general.$X$$X$

   En contraste con esto, si las columnas son una variable categórica, entonces esta probabilidad no es necesariamente casi cero. La probabilidad de que una variable continua sea igual a un conjunto de números (es decir, los planos correspondientes al tramo afín de los otros vectores) es "casi" cero. Pero, este no es el caso para las variables discretas.$X$