¿Cómo seleccionar rápidamente variables importantes de un conjunto de datos muy grande?

Tengo un conjunto de datos con aproximadamente 2,000 variables binarias / 200,000 filas y estoy tratando de predecir una sola variable dependiente binaria. Mi objetivo principal en esta etapa no es obtener la precisión de la predicción, sino identificar cuáles de estas variables son predictores importantes. Me gustaría reducir el número de variables en mi modelo final a aproximadamente 100.

¿Existe una forma relativamente rápida de obtener las variables más importantes? randomForest parece estar tardando mucho tiempo.

No tengo que usar todas las 200,000 observaciones, por lo que el muestreo es una opción sobre la mesa.

Puede comenzar con un filtro Univariante simple y usar validación cruzada para decidir qué variables mantener. La sbffunción en el caretpaquete para R es realmente útil. Puede leer más sobre esto aquí , comenzando en la página 19.

Esto suena como un problema adecuado para el lazo y los amigos que hacen contracción y selección variable. Los Elementos del aprendizaje estadístico describen el lazo y la red elástica para la regresión y, lo que es más relevante para este problema, la regresión logística.

Los autores del libro han hecho una implementación eficiente de lazo y red elástica disponible como un paquete R llamado glmnet . Anteriormente he usado este paquete para el análisis de datos binarios con matrices de datos de aproximadamente 250,000 filas, aunque algunas columnas menos, pero en realidad ejecutando regresiones de todas las columnas contra todas las demás columnas. Si la matriz de datos también es escasa, la implementación también puede aprovechar eso, y creo que el método realmente puede funcionar para el conjunto de datos completo de los OP. Aquí hay algunos comentarios sobre el lazo:

• Lasso logra la selección de variables mediante el uso de una función de penalización que no es uniforme (el -norm), que generalmente da como resultado estimaciones de parámetros con algunos parámetros que son exactamente iguales a 0. Cuántos parámetros distintos de cero se estiman y cuánto los parámetros distintos de cero se reducen, se determina mediante un parámetro de ajuste. La eficiencia de la implementación en glmnet depende en gran medida del hecho de que para una gran penalización solo unos pocos parámetros son diferentes de 0.$\ell_1$
• La selección del parámetro de ajuste a menudo se realiza mediante validación cruzada, pero incluso sin el paso de validación cruzada, el método puede proporcionar una buena secuencia de variables seleccionadas indexadas por el parámetro de penalización.
• La desventaja, para la selección de variables, es que el lazo puede ser inestable en la selección de variables, en particular, si están algo correlacionadas. La penalización neta elástica más general se inventó para mejorar esta inestabilidad, pero no resuelve el problema por completo. El lazo adaptable es otra idea para mejorar la selección de variables para el lazo.
• La selección de estabilidad es un método general sugerido por Meinshausen y Bühlmann para lograr una mayor estabilidad de las variables seleccionadas con métodos como el lazo. Requiere varios ajustes a las submuestras del conjunto de datos y, como tal, es mucho más exigente computacionalmente.
• Una forma razonable de pensar en el lazo es como un método para generar un conjunto unidimensional de modelos "buenos" que van desde un modelo de una sola variable a un modelo más complicado (que no incluye necesariamente todas las variables) parametrizado por el parámetro de penalización. Por el contrario, los filtros univariados producen una selección u orden de modelos buenos de una sola variable solamente.

Para Python hay una implementación en scikit-learn de métodos como lazo y red elástica.

Podría hacer una prueba de asociación de regresión logística / chi-cuadrado para cada variable y solo retener aquellas que tengan un valor p menor que algún valor, digamos .2.