Recursos para aprender a implementar métodos de conjunto

Entiendo teóricamente (más o menos) cómo funcionarían, pero no estoy seguro de cómo hacerlo utilizando un método de conjunto (como votación, mezclas ponderadas, etc.).

• ¿Cuáles son buenos recursos para implementar métodos de conjunto?
• ¿Hay algún recurso en particular con respecto a la implementación en Python?

EDITAR:

Para aclarar algunos basados ​​en la discusión de los comentarios, no estoy buscando algoritmos de conjunto como randomForest, etc. En cambio, me pregunto cómo puedes combinar diferentes clasificaciones de diferentes algoritmos.

Por ejemplo, supongamos que alguien usa regresión logística, SVM y algunos otros métodos para predecir la clase de una observación determinada. ¿Cuál es la mejor manera de capturar la mejor estimación de la clase basada en estas predicciones?

Un buen lugar para comenzar es obtener una visión general del aprendizaje conjunto. Especialmente querrás considerar el refuerzo y el embolsado . Otro método fue el utilizado por el equipo de "The Ensemble" en el Premio Netflix, que se llama "mezcla" o apilamiento de características .

Luego, solo encuentre algunas bibliotecas que las implementen y trabajen desde allí. Un google rápido apareció scikit y orange , los cuales deberían tener embolsado y refuerzo (y ambos son Python).

Si más allá de solo usar métodos de conjunto, le gustaría aprender un poco de la teoría, entonces creo que este documento sería un buen punto de partida (siga las referencias de las partes que le interesan).

Salud.

'Métodos de conjunto en la minería de datos: mejora de la precisión mediante la combinación de predicciones', Seni y Elder: excelente referencia sobre la teoría e implementación prácticas de conjuntos, pero el código adjunto se basa en R.

'Machine Learning: An Algorithmic Perspective', S. Marsland: excelente texto práctico basado en Python, pero no tan dedicado a los conceptos de conjunto puro como la primera referencia.

La respuesta de Stumpy Joe Pete fue perfecta, pero como usted mencionó la implementación de Python, quería mencionar el proyecto de preparación de la Universidad Federal de Pernambuco.

https://github.com/viisar/brew

from brew.base import Ensemble
from brew.base import EnsembleClassifier
from brew.combination import import Combiner

# create your Ensemble
clfs = your_list_of_classifiers # [clf1, clf2]
ens = Ensemble(classifiers = clfs)

# create your Combiner
# the rules can be 'majority_vote', 'max', 'min', 'mean' or 'median'
comb = Combiner(rule='majority_vote')

# now create your ensemble classifier
ensemble_clf = EnsembleClassifier(ensemble=ens, combiner=comb)
ensemble_clf.predict(X)

En este punto, tienen generación de conjunto, combinación, poda y selección dinámica.

Limitaciones: solo clasificación; sin apilamiento en la versión pública actual; No mucha documentación.

Salford Systems tiene un paquete de software llamado Random Forests que implementa esto para conjuntos de árboles de clasificación y regresión. No tengo ningún paquete R gratuito para ofrecer. Me imagino que tienen un manual de usuario que explicará su implementación. Por analogía, probablemente podría descubrir cómo hacerlo para otros métodos de conjunto.

Encontré este tutorial que fue extremadamente útil. No responde todas las piezas, pero creo que es un gran comienzo para la discusión: http://vikparuchuri.com/blog/intro-to-ensemble-learning-in-r/

La guía de ensamblaje Scikit-learn proporciona embolsadoras y potenciadoras de metaclasificadores y regresores. Además, la biblioteca mlxtend proporciona implementaciones de metaclasificadores y regresores de apilamiento .