¿Cómo puedo incluir efectos aleatorios (o medidas repetidas) en un bosque aleatorio

22

Ni siquiera estoy seguro de que la pregunta tenga mucho sentido, pero creo que vi un par de títulos en los que proponían bosque aleatorio con efectos aleatorios. ¿Es esto posible en R?

r random-forest random-effects-model

— mguzmann
fuente

1

Sí, no tiene mucho sentido. ¿Qué quieres decir con efectos aleatorios?

— Simone

Estoy pensando en algo similar a lo que puede hacer con la función lmer donde puede incluir un efecto aleatorio como (1 | efecto).

— mguzmann

Entonces, ¿esto es recocido simulado en un bosque aleatorio? econpapers.repec.org/article/bpjjqsprt/… researchgate.net/publication/…

— EngrStudent - Restablece a Monica el

2

No estoy muy seguro de qué tipo de aleatoriedad son los métodos que está buscando en las direcciones. Los bosques aleatorios son una mejora simple sobre el ensacado al decorelacionar el árbol. La razón por la que se llama 'aleatorio' es el hecho de que, en cualquier caso, cuando se considera una división en un árbol, el candidato dividido se elige de un subconjunto aleatorio m de dichos predictores p. Por lo general, m ~ sqrt (p). Y cada vez que ocurre una división, se elige un subconjunto aleatorio de predictores, por lo tanto, bosque aleatorio.

— psteelk

13

No se usan comúnmente juntos, y se debe tener cuidado antes de combinarlos.

Los bosques aleatorios generalmente se usan como clasificadores. La razón por la que usaría un bosque aleatorio en lugar de otro método (p. Ej., Agrupación K-significa) es que puede tener una gran cantidad de dimensiones por las que desea clasificar. El problema con tener la gran cantidad de dimensiones es que si quisiera probar todas las combinaciones de órdenes de dimensión, tendría una gran cantidad de opciones (crece más rápido que la cantidad factorial de dimensiones).

Los efectos aleatorios se usan típicamente en regresión con medidas repetidas de la misma cosa. Se usan comúnmente en modelos de efectos mixtos donde el término mezclado se refiere tanto a efectos fijos como aleatorios. Se cree que los efectos fijos representan los parámetros que volverá a ver (por ejemplo, un medicamento o la edad de una persona). Se cree que los efectos aleatorios representan una instancia de variabilidad alrededor de un parámetro que no volverá a ver (por ejemplo, una persona específica).

Hay ejemplos que los usan juntos cuando hay datos agrupados http://dx.doi.org/10.1080/00949655.2012.741599 y http://www2.ims.nus.edu.sg/Programs/014swclass/files/denis.pdf .

No conozco ningún paquete R que pueda hacer este análisis.

— Bill Denney
fuente

2

Además, los autores de este trabajo están felices de compartir el código R de su implementación con usted. Solo envíeles un correo electrónico. Es lo que hice.

— Brash Equilibrium

Me puse en contacto con Larocque, quien se puso en contacto con Hajjam, quien me envió un correo electrónico en un par de días.

— Brash Equilibrium

2

Sin embargo, el código R disponible solo implementa un bosque aleatorio para datos continuos. Deberá extenderlo para tratar con datos categóricos.

— Brash Equilibrium

10

Sí, es posible Deberías revisar " Árboles RE-EM: un enfoque de minería de datos para datos longitudinales y agrupados " y el paquete R asociado REEMtree .

Ha pasado un tiempo desde que miré el periódico. Recuerdo que los autores aún no habían intentado formar conjuntos de estos árboles, pero que nada sugería que no funcionaría.

— Ben Ogorek
fuente

1

REEMtree no es efectos aleatorios aplicados a bosques aleatorios. Se aplica a la partición recursiva, que es solo una parte de lo que se incluye en un modelo de bosque aleatorio. Así que no creo que esta respuesta merezca una puntuación más alta que la de Bill Denney. Desafortunadamente, mi voto positivo está bloqueado.

— Brash Equilibrium

1

Vamos, una vez que tienes el árbol, ¿qué tan difícil es construir el bosque? Y eres bienvenido.

— Ben Ogorek

1

Bueno, viendo cómo el bosque aleatorio agrega el muestreo bootstrap, ajustando el número de características elegidas al azar para probar, la agregación de los resultados del árbol, etc., y necesitamos un efecto aleatorio en las predicciones aleatorias del bosque, no en las predicciones de árboles individuales en ese sentido. Forest, aumentar REEMtree no es una solución tan buena como leer el artículo que Bill citó y solicitar el código R de sus autores.

— Brash Equilibrium

8

Los bosques de efectos aleatorios mixtos (MERF) son una cosa. Como dice la respuesta anterior, hay una gran investigación sobre ellos por parte del grupo del Dr. Larocque en HEC Montreal. El documento está aquí: http://www.tandfonline.com/doi/abs/10.1080/00949655.2012.741599 .

Esencialmente, es una forma teóricamente sólida de combinar el modelado no lineal de bosques aleatorios con efectos lineales aleatorios.

Acabamos de lanzar un paquete de código abierto en Python implementando MERF usando el algoritmo anterior en el documento.

Escribimos una publicación de blog detallada sobre el paquete y cómo usarlo para conjuntos de datos agrupados.

— Sourav Dey
fuente

1

cualquier idea para implementar esto en R o agregar funcionalidad de diagrama de dependencia parcial

— OliverFishCode