¿Cuál es la forma más fácil de entender el impulso?
¿Por qué no aumenta los clasificadores muy débiles "hasta el infinito" (perfección)?
¿Cuál es la forma más fácil de entender el impulso?
¿Por qué no aumenta los clasificadores muy débiles "hasta el infinito" (perfección)?
Respuestas:
En inglés simple: si su clasificador clasifica erróneamente algunos datos, entrene otra copia de ellos principalmente en esta parte clasificada erróneamente con la esperanza de que descubra algo sutil. Y luego, como siempre, iterar. En el camino hay algunos esquemas de votación que permiten combinar todas las predicciones de los clasificadores de manera sensata.
Porque a veces es imposible (el ruido solo oculta parte de la información, o ni siquiera está presente en los datos); Por otro lado, aumentar demasiado puede conducir a un sobreajuste.
Impulsar emplea la contracción a través del parámetro de velocidad de aprendizaje, que, junto con la validación cruzada k- pliegue, las predicciones "fuera de bolsa" (OOB) o el conjunto de pruebas independiente, determina el número de árboles que uno debe mantener en el conjunto.
Queremos un modelo que aprenda lentamente, por lo tanto, existe una compensación en términos de la complejidad de cada modelo individual y el número de modelos a incluir. La guía que he visto sugiere que debe establecer la tasa de aprendizaje lo más baja posible (dados los requisitos de tiempo de cálculo y espacio de almacenamiento), mientras que la complejidad de cada árbol debe seleccionarse en función de si las interacciones están permitidas y en qué medida, cuanto más complejo es el árbol, más complejas son las interacciones que se pueden representar.
El CV k- doble (o las predicciones OOB o el conjunto de pruebas independiente) se utiliza para decidir cuándo el modelo impulsado ha comenzado a ajustarse demasiado. Esencialmente, esto es lo que nos impide impulsar el modelo perfecto, pero es mejor aprender lentamente, por lo que tenemos un gran conjunto de modelos que contribuyen al modelo ajustado.