Definición de complejidad de un árbol en xgboost

Investigando sobre el algoritmo xgboost, revisé la documentación .

En este enfoque, los árboles se regularizan utilizando la definición de complejidad donde y son parámetros, es el número de hojas terminales y es la puntuación en cada hoja.

Me pregunto: ¿cómo define esto la complejidad? , el número de nodos terminales, me parece natural. ¿Pero la suma de las puntuaciones finales al cuadrado?$T$

Tal vez se pretende sobreajustar. ¿Significa que puntuaciones muy grandes dan demasiada confianza? ¿Se elige obtener un alumno débil? ¿Cuál es una explicación natural para esta elección de la función de complejidad?

Esto tiene sentido para mí.

Me centraré en el caso gaussiano. Aquí cada árbol$T_i$se ajusta a los residuos del modelo actual y la actualización del modelo es$M_{i+1} = M_{i} + \alpha T_i$. La idea de un refuerzo de gradiente es reducir cuidadosa y lentamente el sesgo del modelo agregando estos árboles uno por uno.

En este caso, un gran valor de $w_i$correspondería a un nodo terminal (hoja) que proporciona una actualización muy grande y significativa al modelo anterior. La idea del término de regularización es minimizar estos incidentes de grandes actualizaciones de árbol único (solo permitiéndolas si la disminución en la función de pérdida del modelo es lo suficientemente grande como para compensar la penalización de regularización). Si dicha actualización se regulariza para un solo árbol, pero resulta justificada, se incluirá en varias actualizaciones de modelos, de acuerdo con la filosofía de impulsar.

Esto está en una analogía muy cercana a la regresión de cresta.