Debo decir que el entorno de software más completo para el aprendizaje automático y el modelado no paramétrico es R. Este es un gran campo en estadística, que abarca K-NN, suavizado de kernel, modelos aditivos generales, estudiantes débiles, vectores de soporte, redes neuronales, semi - regresión spline paramétrica, imputación, etc. Recomiendo leer: Hastie, T., R. Tibshirani, J. Friedman (2009) Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción. Serie Springer en Estadística.
Además de R, el software comercial de Salford Systems tiene bosques aleatorios, divisiones de regresión adaptativa multivariante, CART y refuerzo de gradiente (TreeNet) disponibles en un entorno GUI. RuleQuest todavía vende See5 / C5, que es una versión actualizada del algoritmo C4 / ID3 CART. Weka 3 de la Universidad de Waikato es un esfuerzo Java de código abierto GUI / Commandline con una gran cantidad de modelos disponibles.