El bosque aleatorio está sobreajustado

Estoy tratando de usar Regresión forestal aleatoria en scikits-learn. El problema es que recibo un error de prueba muy alto:

train MSE, 4.64, test MSE: 252.25.

Así es como se ven mis datos: (azul: datos reales, verde: predicho):

Estoy usando 90% para entrenamiento y 10% para prueba. Este es el código que estoy usando después de probar varias combinaciones de parámetros:

rf = rf = RandomForestRegressor(n_estimators=10, max_features=2, max_depth=1000, min_samples_leaf=1, min_samples_split=2, n_jobs=-1) 
test_mse = mean_squared_error(y_test, rf.predict(X_test))
train_mse = mean_squared_error(y_train, rf.predict(X_train))

print("train MSE, %.4f, test MSE: %.4f" % (train_mse, test_mse))
plot(rf.predict(X))
plot(y)

¿Cuáles son las posibles estrategias para mejorar mi ajuste? ¿Hay algo más que pueda hacer para extraer el modelo subyacente? Me parece increíble que después de tantas repeticiones del mismo patrón, el modelo se comporte tan mal con los nuevos datos. ¿Tengo alguna esperanza de intentar ajustar estos datos?

Creo que estás usando una herramienta incorrecta; Si toda su X es equivalente al índice, básicamente tiene alguna función muestreada e intenta extrapolarla. El aprendizaje automático tiene que ver con la interpolación de la historia, por lo que no es sorprendente que obtenga una falla espectacular en este caso.$f:\mathbb{R}\rightarrow\mathbb{R}$

Lo que necesita es un análisis de series de tiempo (es decir, extracción de tendencias, análisis de espectro y autoregresión o HMMing el resto) o física (es decir, pensar si hay una EDO que pueda producir dicha salida e intentar ajustar sus parámetros a través de cantidades conservadas).

El mayor problema es que los árboles de regresión (y los algoritmos basados ​​en ellos como bosques aleatorios) predicen funciones constantes por partes, dando un valor constante para las entradas que caen debajo de cada hoja. Esto significa que cuando extrapolan fuera de su dominio de entrenamiento, solo predicen el mismo valor que lo harían para el punto más cercano en el que tenían datos de entrenamiento. @mbq tiene razón en que existen herramientas especializadas para aprender series temporales que probablemente serían mejores que las técnicas generales de aprendizaje automático. Sin embargo, los bosques aleatorios son particularmente malos para este ejemplo, y hay otras técnicas generales de LD que probablemente funcionarían mucho mejor de lo que está viendo. Las SVM con núcleos no lineales son una opción que viene a la mente. Como su función tiene una estructura periódica, esto también sugiere trabajar el dominio de frecuencia,

Este es un ejemplo de libro de texto para el ajuste excesivo de datos, el modelo funciona muy bien en datos entrenados, pero colapsa en cualquier nuevo dato de prueba. Esta es una de las estrategias para abordar esto: hacer una validación cruzada diez veces mayor de los datos de entrenamiento para optimizar los parámetros.

Paso 1. Cree una función de minimización de MSE utilizando la optimización NM. Un ejemplo se puede ver aquí: http://glowingpython.blogspot.de/2011/05/curve-fitting-using-fmin.html

Paso 2. Dentro de esta función de minimización, el objetivo es reducir el MSE. Para hacer esto, cree una división de diez veces de los datos donde se aprende un nuevo modelo en 9 pliegues y se prueba en el décimo pliegue. Este proceso se repite diez veces, para obtener el MSE en cada pliegue. El MSE agregado se devuelve como resultado del objetivo.

Paso 3. El fmin en python hará las iteraciones por ti. Compruebe qué hiperparámetros son necesarios para ajustar (n_estimators, max_features, etc.) y páselos al fmin.

El resultado serán los mejores hiperparámetros que reducirán la posibilidad de un ajuste excesivo.

Algunas sugerencias:

1. Ajuste sus parámetros utilizando un enfoque de ventana móvil (su modelo debe estar optimizado para predecir el siguientes valores en la serie de tiempo, no para predecir valores entre los suministrados)
2. Pruebe otros modelos (incluso los más simples, con la selección correcta de características y las estrategias de ingeniería de características, podrían ser más adecuados para su problema)
3. Trate de aprender transformaciones óptimas de la variable objetivo (sintonice esto también, hay una tendencia lineal / exponencial negativa, es posible que pueda estimarla)
4. Análisis espectral quizás
5. Los máximos / mínimos están igualmente espaciados, parece. Aprenda dónde se les dan sus características (sin entrada del operador, haga que un algoritmo lo descubra para eliminar el sesgo) y agregue esto como una característica. También diseñe una característica nearest maximum. No sé, podría funcionar, o tal vez no, solo puedes saber si lo pruebas :)

$x^2$$x_2$

Después de leer la publicación anterior, quiero dar otra respuesta diferente.

Para los modelos basados ​​en árboles, como el bosque aleatorio, no pueden extrapolar el valor más allá del conjunto de entrenamiento. Entonces, no creo que sea un problema excesivo, sino una estrategia de modelado incorrecta.

Entonces, ¿qué podemos hacer para la predicción de series de tiempo con el modelo de árbol?

La forma posible es combinarlo con regresión lineal: primero, detrend la serie de tiempo (o tendencia de modelado con regresión lineal), luego modelando el residuo con árboles (los residuos están delimitados, para que los modelos de árboles puedan manejarlo).

Además, hay un modelo de árbol combinado con regresión lineal que se puede extrapolar, llamado cubista, hace una regresión lineal en la hoja.

Si simplemente desea predecir dentro de los límites del gráfico, simplemente aleatorizar las observaciones antes de dividir el conjunto de datos debería resolver el problema. Luego se convierte en un problema de interpolación de la extrapolación como se muestra.