Recientemente, en una clase de Aprendizaje automático del profesor Oriol Pujol en la UPC / Barcelona, describió los algoritmos, principios y conceptos más comunes para usar en una amplia gama de tareas relacionadas con el aprendizaje automático. Aquí los comparto contigo y te pregunto:
- ¿Existe alguna tarea integral de comparación de marcos con enfoques o métodos relacionados con diferentes tipos de problemas relacionados con el aprendizaje automático?
¿Cómo aprendo un gaussiano simple? Probabilidad, variables aleatorias, distribuciones; estimación, convergencia y asintóticas, intervalo de confianza.
¿Cómo aprendo una mezcla de gaussianos (MoG)? Probabilidad, Expectativa-Maximización (EM); generalización, selección de modelo, validación cruzada; k-means, modelos ocultos de markov (HMM)
¿Cómo aprendo alguna densidad? Estimación paramétrica versus no paramétrica, Sobolev y otros espacios funcionales; l ́ 2 error; Estimación de densidad de kernel (KDE), kernel óptimo, teoría de KDE
¿Cómo pronostico una variable continua (regresión)? Regresión lineal, regularización, regresión de cresta y LASSO; regresión lineal local; Estimación de densidad condicional.
¿Cómo pronostico una variable discreta (clasificación)? Clasificador Bayes, Bayes ingenuo, generativo versus discriminativo; perceptrón, decadencia de peso, máquina de vectores de soporte lineal; clasificador vecino más cercano y teoría
¿Qué función de pérdida debo usar? Teoría de estimación de máxima verosimilitud; l -2 estimación; Estimación bayessiana; minimax y teoría de la decisión, bayesianismo vs frecuentismo
¿Qué modelo debo usar? AIC y BIC; Teoría de Vapnik-Chervonenskis; teoría de validación cruzada; bootstrapping Probablemente la teoría aproximadamente correcta (PAC); Límites derivados de hoeffding
¿Cómo puedo aprender modelos más elegantes (combinados)? Teoría del aprendizaje conjunto; impulso harpillera; apilado
¿Cómo puedo aprender modelos más elegantes (no lineales)? Modelos lineales generalizados, regresión logística; Teorema de Kolmogorov, modelos aditivos generalizados; kernelización, reproducción de espacios Hilbert de kernel, SVM no lineal, regresión de procesos gaussianos
¿Cómo puedo aprender modelos más elegantes (composicionales)? Modelos recursivos, árboles de decisión, agrupamiento jerárquico; redes neuronales, propagación hacia atrás, redes de creencias profundas; modelos gráficos, mezclas de HMM, campos aleatorios condicionales, redes de Markov de margen máximo; modelos log-lineales; gramáticas
¿Cómo reduzco o relaciono características? Selección de características versus reducción de dimensionalidad, métodos de envoltura para la selección de características; causalidad vs correlación, correlación parcial, aprendizaje de estructura neta de Bayes
¿Cómo creo nuevas funciones? análisis de componentes principales (PCA), análisis de componentes independientes (ICA), escalamiento multidimensional, aprendizaje múltiple, reducción de dimensionalidad supervisada, aprendizaje métrico
¿Cómo reduzco o relaciono los datos? Clustering, bi-clustering, clustering restringido; reglas de asociación y análisis de la canasta de mercado; clasificación / regresión ordinal; análisis de enlaces; datos relacionales
¿Cómo trato las series de tiempo? ARMA; Filtro de Kalman y modelos de espacio estadístico, filtro de partículas; análisis de datos funcionales; detección de punto de cambio; validación cruzada para series de tiempo
¿Cómo trato datos no ideales? desplazamiento covariable; desequilibrio de clase; datos faltantes, datos muestreados irregularmente, errores de medición; detección de anomalías, robustez
¿Cómo optimizo los parámetros? Optimización sin restricciones frente a constreñida / convexa, métodos sin derivados, métodos de primer y segundo orden, backfitting; gradiente natural; optimización consolidada y EM
¿Cómo optimizo las funciones lineales? álgebra lineal computacional, inversión de matriz para regresión, descomposición de valor singular (SVD) para reducción de dimensionalidad
¿Cómo optimizo con restricciones? Convexidad, multiplicadores de Lagrange, condiciones de Karush-Kuhn-Tucker, métodos de punto interior, algoritmo SMO para SVM
¿Cómo evalúo sumas profundamente anidadas? Inferencia exacta del modelo gráfico, límites de variación en sumas, inferencia aproximada del modelo gráfico, propagación de expectativas
¿Cómo evalúo grandes sumas y búsquedas? Problemas generalizados de N-cuerpos (PNB), estructuras de datos jerárquicos, búsqueda de vecinos más cercanos, método múltiple rápido; Integración de Monte Carlo, Markov Chain Monte Carlo, Monte Carlo SVD
¿Cómo trato problemas aún mayores? EM paralelo / distribuido, GNP paralelo / distribuido; métodos estocásticos de subgrado, aprendizaje en línea
¿Cómo aplico todo esto en el mundo real? Descripción general de las partes del NM, eligiendo entre los métodos a utilizar para cada tarea, conocimiento previo y suposiciones; análisis exploratorio de datos y visualización de información; evaluación e interpretación, utilizando intervalos de confianza y prueba de hipótesis, curvas ROC; donde están los problemas de investigación en ML