Muestreo MCMC del espacio del árbol de decisión vs. bosque aleatorio

Un bosque aleatorio es una colección de árboles de decisión formados seleccionando aleatoriamente solo ciertas características con las que construir cada árbol (y algunas veces empaquetando los datos de entrenamiento). Aparentemente aprenden y generalizan bien. ¿Alguien ha realizado un muestreo MCMC del espacio del árbol de decisión o los ha comparado con bosques aleatorios? Sé que podría ser computacionalmente más costoso ejecutar el MCMC y guardar todos los árboles muestreados, pero estoy interesado en las características teóricas de este modelo, no en los costos computacionales. Lo que quiero decir es algo como esto:

1. Construya un árbol de decisión aleatorio (probablemente funcionaría horriblemente)
2. Calcule la probabilidad del árbol con algo como , o quizás agregue un P p r i o r ( T r e e ) término.$P(Tree|Data) \propto P(Data|Tree)$$P_{prior}(Tree)$
3. Elija un paso aleatorio para cambiar el árbol y seleccione en función de la probabilidad .$P(Tree|Data)$
4. Cada N pasos, guarde una copia del árbol actual
5. Regrese a 3 para algunos grandes N * M veces
6. Usa la colección de M árboles guardados para hacer predicciones

¿Daría esto un rendimiento similar a los bosques aleatorios? Tenga en cuenta que aquí no desechamos buenos datos o características en ningún paso, a diferencia de los bosques aleatorios.

Esto fue hecho hace unos 13 años por Chapman, George y McCulloch (1998, JASA) . Por supuesto, ha habido una gran literatura sobre árboles de regresión bayesiana que surgió de esta idea.

Desafortunadamente, Chipman et al. en su enfoque CARRITO Bayesiano solo extraen el árbol más probable. Nunca intentaron promediar sobre los árboles y comparar el rendimiento con Random Forest y Extra-Trees.

Acabo de leer el artículo de BART de Chipman. Si entiendo correctamente, es un promedio bayesiano de K muestras sobre una colección de m árbol. Es interesante en muchos sentidos y parece funcionar realmente bien. Cuando m = '1', es un promedio Bayesiano simple de K muestras de 1 árbol, provenientes de la parte posterior. Sin embargo, no se han realizado muchas pruebas en ese aspecto en particular. Y todavía estaría interesado en saber cómo se compara Random Forest o Extra-Trees con el verdadero modelo de Bayes.