Me he estado preguntando, ¿por qué es tan importante tener un aprendizaje automático basado en principios / teórico? Desde una perspectiva personal como humano, puedo entender por qué el aprendizaje automático basado en principios sería importante:
- A los humanos les gusta entender lo que están haciendo, encontramos belleza y satisfacción al entender.
- desde un punto de vista teórico, las matemáticas son divertidas
- Cuando hay principios que guían el diseño de las cosas, se dedica menos tiempo a adivinanzas aleatorias, pruebas y errores extraños. Si entendiéramos, digamos, cómo funcionan realmente las redes neuronales, tal vez podríamos pasar mucho mejor tiempo diseñándolas en lugar de las enormes cantidades de prueba y error que conlleva en este momento.
- más recientemente, si los principios son claros y la teoría también lo es, entonces debería haber (con suerte) más transparencia en el sistema. Esto es bueno porque si entendemos qué está funcionando el sistema, entonces la IA corre el riesgo de que mucha gente se exagere de inmediato.
- Los principios parecen ser una forma concisa de resumir las estructuras importantes que podría tener el mundo y cuándo utilizar una herramienta en lugar de otra.
Sin embargo, ¿son estas razones lo suficientemente fuertes como para justificar un intenso estudio teórico del aprendizaje automático? Una de las mayores críticas de la teoría es que, debido a que es tan difícil de hacer, generalmente terminan estudiando un caso muy restringido o las suposiciones que deben presentarse esencialmente hacen que los resultados sean inútiles. Creo que escuché esto una vez en una charla en el MIT por el creador de Tor. Que algunas de las críticas a Tor que ha escuchado es el argumento teórico, pero esencialmente, las personas nunca pueden probar cosas sobre los escenarios reales de la vida real porque son muy complicadas.
En esta nueva era con tanta potencia informática y datos, podemos probar nuestros modelos con conjuntos de datos reales y conjuntos de pruebas. Podemos ver si las cosas funcionan usando el empirismo. Si podemos obtener AGI o sistemas que funcionan con ingeniería y empirismo, ¿vale la pena buscar una justificación teórica y basada en principios para el aprendizaje automático, especialmente cuando los límites cuantitativos son tan difíciles de lograr, pero las intuiciones y las respuestas cualitativas son mucho más fáciles de lograr? lograr con un enfoque basado en datos? Este enfoque no estaba disponible en las estadísticas clásicas, por lo que creo que la teoría era tan importante en esos tiempos, porque las matemáticas eran la única forma en que podíamos estar seguros de que las cosas eran correctas o que realmente funcionaban de la manera que pensamos.
Personalmente, siempre amé y pensé que la teoría y un enfoque basado en principios eran importantes. Pero con el poder de solo poder probar cosas con datos reales y poder de cómputo me ha hecho preguntarme si el gran esfuerzo (y las recompensas potencialmente bajas) de la búsqueda teórica todavía vale la pena.
¿Es realmente tan importante la búsqueda teórica y de principios del aprendizaje automático?