Estoy tratando de comparar la complejidad computacional / velocidad de estimación de tres grupos de métodos para la regresión lineal como se distingue en Hastie et al. "Elementos del aprendizaje estadístico" (2ª ed.), Capítulo 3:
- Selección de subconjunto
- Métodos de contracción
- Métodos que utilizan direcciones de entrada derivadas (PCR, PLS)
La comparación puede ser muy aproximada, solo para dar una idea. Entiendo que las respuestas pueden depender de la dimensión del problema y de cómo se ajusta a la arquitectura de la computadora, por lo que para un ejemplo concreto se puede considerar un tamaño de muestra de 500 y 50 regresores candidatos. Estoy interesado principalmente en la motivación detrás de la complejidad computacional / velocidad de estimación, pero no en cuánto tiempo tomaría cierto procesador para el ejemplo dado.