Clasificación con aumento de gradiente: cómo mantener la predicción en [0,1]

17

La pregunta

Estoy luchando por comprender cómo se mantiene la predicción dentro del intervalo $[0,1]$ cuando se realiza una clasificación binaria con Gradient Boosting.

Supongamos que estamos trabajando en un problema de clasificación binaria, y nuestra función objetivo es la pérdida de registro, , donde es la variable objetivo y es nuestro modelo actual. $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

Al entrenar al próximo alumno débil modo que nuestro nuevo modelo sea , ¿cuál es el mecanismo que se supone que debe mantener ? O, tal vez una pregunta más relevante, ¿existe tal mecanismo? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

Más información sobre lo que estoy haciendo.

Estoy tratando de implementar el aumento de gradiente, usando árboles de regresión. Lo que hago para evitarlo es que una multiplicación por un factor , de modo que no vaya por debajo de cero o por encima de uno, y selecciono la en este rango que minimiza La función de pérdida. $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

Esto trae el siguiente problema: después de algunas rondas, tengo un punto que está perfectamente clasificado, y la mejor división disponible para empujar el clasificador en la dirección del gradiente quiere empujar este punto por encima de uno, lo que me aseguro de que no suceda ajuste . Por lo tanto, la siguiente iteración seleccionará la misma división y la misma . $c = 0$ $c = 0$

Traté de prácticas comunes de regularización

Disminuir la tasa de aprendizaje multiplicando por . Esto solo retrasa el problema. $c$ $\mu = 0.01$
Submuestreando el espacio de características, pero algunos de los puntos son muy fáciles de clasificar, marcan casi todas las casillas en "¿es positivo?" forma, y casi cada "buena división" muestra este comportamiento.

Creo que esto no es un problema de parámetros, y debería haber una forma más sólida de solucionarlo. No estoy descartando la posibilidad de que mi implementación esté rota, pero no he encontrado nada que aborde este problema.

Lo que estamos manipulando, en el contexto de la pérdida logística, debería ser una probabilidad, entonces, ¿cómo lo evitamos?

Mi intuición sería poner el modelo que estamos construyendo, , en una función sigmoidea de modo que esté limitado a , y supongo que funcionaría, pero quiero saber si hay otras soluciones. Dado que el aumento de gradiente parece usarse con éxito en tareas de clasificación, debe existir una solución "correcta" (es decir, con justificación). $H$ $[0,1]$

logistic classification boosting

— Guiños
fuente

Podría requerir que

sea multiplicitivo, ya que

comporta de manera aditiva con sus otros expertos.

H

$H$

\ln (H)

$\ln(H)$

— Alex R.

21

Me gusta pensar en esto en analogía con el caso de los modelos lineales y su extensión a los GLM (modelos lineales generalizados).

En un modelo lineal, ajustamos una función lineal para predecir nuestra respuesta

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

Para generalizar a otras situaciones, introducimos una función de enlace, que transforma la parte lineal del modelo en la escala de la respuesta (técnicamente este es un enlace inverso, pero creo que es más fácil pensarlo de esta manera, transformando el predictor lineal en una respuesta, que transformar la respuesta en un predictor lineal).

Por ejemplo, el modelo logístico utiliza la función sigmoide (o logit)

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

y la regresión de Poisson usa una función exponencial

\hat{y} = Exp (β_{0 0} + β_{1} X_{1} + \dots β_{norte} X_{norte})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

Para construir una analogía con el aumento de gradiente, reemplazamos la parte lineal de estos modelos con la suma de los árboles aumentados. Entonces, por ejemplo, el caso gaussiano (análogo a la regresión lineal) se convierte en el bien conocido

\hat{y} = \sum_{yo} h_{yo}

$\hat y = \sum_i h_i$

donde es nuestra secuencia de alumnos débiles. El caso binomial es análogo a la regresión logística (como notó en su respuesta) $h_i$

\hat{y} = \frac{1}{1 + Exp (- \sum_{yo} h_{yo})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

y el aumento de Poisson es análogo a la regresión de Poisson

\hat{y} = Exp (\sum_{yo} h_{yo})

$\hat y = \exp\left(\sum_i h_i\right)$

$\sum_i \beta_i x_i$

Por ejemplo, la pérdida binomial generalmente se encuentra como

\sum_{yo} y_{yo} Iniciar sesión ({pag}_{yo}) + (1 - y_{yo}) Iniciar sesión (1 - {pag}_{yo})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

$p_i$ , los valores pronosticados en la misma escala que la respuesta, y $p_i$ es una transformación no lineal del predictor lineal $L_i$ . En cambio, podemos volver a expresar esto en función de $L_i$ , (en este caso también conocido como las probabilidades de registro)

\sum_{yo} y_{yo} L_{yo} - Iniciar sesión (1 + Exp (L_{yo}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

Entonces podemos tomar el gradiente de esto con respecto a $L$ , y aumentar para minimizar directamente esta cantidad.

Solo al final, cuando queremos producir predicciones para el usuario, aplicamos la función de enlace a la secuencia final de alumnos débiles para poner las predicciones en la misma escala que la respuesta. Mientras ajustamos el modelo, trabajamos internamente en la escala lineal todo el tiempo.

— Matthew Drury
fuente

2

De acuerdo con "escribir la función de pérdida que se minimiza en función de la parte lineal del modelo". Pero creo que una forma directa de entenderlo sin derivar las probabilidades de registro es: para la parte lineal del modelo, es decir

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$ , piense en la función de pérdida como

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$ , y el pseudo-residual es solo para hacer la derivada de la pérdida wrt

r

$r$ .

— user2830451

@ matthew-drury ¿Puede agregar algo de luz sobre la sección multinomial de clase K del mismo algoritmo donde se extiende una idea similar para que funcione?

— MixCoded

6

Después de un poco de investigación, parece que mi intuición y el comentario de Alex R. son correctos.

Para construir un modelo continuo con predicciones en $[0,1]$ , uno puede poner el modelo $H$ en una función logística (Wikipedia) , de modo que para $H \in \mathbb{R}$ , tenemos

\frac{1}{1 + {mi}^{- H}} \in [0 0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$ Los pasos de aumento de gradiente luego toman la derivada con respecto a

H

$H$ y actualice el modelo, como si la función logística fuera parte de la función de costo, y funciona.

Esto ha sido sugerido en el artículo Regresión logística aditiva: una visión estadística del impulso , por Friedman, Hastie y Tibshirani, para construir LogitBoost (Wikipedia) , una adaptación de AdaBoost (Wikipedia) a la pérdida logística.

En términos muy básicos, si es posible pasar de la regresión lineal a la regresión logística mediante la adición de un sigmoide, entonces también funciona para convertir el aumento de regresión en aumento de clasificación.

— Guiños
fuente