Pérdida de bisagra con clasificador uno contra todos

9

Actualmente estoy mirando la forma primaria sin restricciones del clasificador uno contra todos

\sum_{i = 1}^{N_{I}} \sum_{\binom{k = 1,}{k \neq y_{i}}}^{N_{K}} L (1 + w_{k} \cdot x_{i} - w_{y_{i}} \cdot x_{i})

$\sum\limits_{i=1}^{N_I} \sum\limits_{k=1,\atop k \neq y_i}^{N_K} L(1+ \mathbf{w_k}\cdot\mathbf{x_i}-\mathbf{w_{y_i}}\cdot\mathbf{x_i})$

dónde

$N_I$ es el número de instancias, es el número de clases, es el número de características, es una matriz de datos , es un vector de etiquetas de clase, es una donde corresponde Para los pesos del hiperplano que divide una clase del resto, es una función de pérdida arbitraria.
$N_K$
$N_F$
$X$ $N_K \times N_F$
$y$
$W$ $N_K \times N_I$
$L$

Tengo entendido que el funcional anterior intenta encontrar un hiperplano para cada clase que maximice la distancia entre las muestras dentro de la clase asociada a todas las demás muestras. Si los hiperplanos están posicionados correctamente, entonces siempre debe ser negativo, siempre debe ser positivo y nuestra función de pérdida debe volver justamente bajo. $\mathbf{w_k}\cdot\mathbf{x_i}$ $\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

Estoy tratando de implementar esto usando la pérdida de bisagra que creo que en este caso terminará siendo

$\max(0,1+\mathbf{w_k}\cdot\mathbf{x_i}-\mathbf{w_{y_i}}\cdot\mathbf{x_i}$ ).

Sin embargo, en lo anterior no podríamos terminar con una situación en la que los hiperplanos clasifiquen todas las muestras como pertenecientes a cada clase. Por ejemplo, si estamos viendo el hiperplano separando la clase 1 de todas las demás clases, siempre que entonces la pérdida incurrida será 0 a pesar de que se clasifica como la clase incorrecta. $1+\mathbf{w_k}\cdot\mathbf{x_i}<\mathbf{w_{y_i}}\cdot\mathbf{x_i}$ $\mathbf{x_i}$

¿Dónde me he equivocado? ¿O no importa si es negativo o positivo siempre que termine con una puntuación más alta? Tengo la sensación de que mi uso de la función de bisagra como he descrito aquí es incorrecto, pero mi uso de Google hoy en día solo ha generado más confusión. $\mathbf{w_k}\cdot\mathbf{x_i}$ $\mathbf{w_{y_i}}\cdot\mathbf{x_i}$

En una nota relacionada, ¿por qué hay un 1 en el funcional anterior? Creo que tendría poco impacto.

classification loss-functions

— brcs
fuente

2

Tu publicación parece ser en su mayoría correcta.

La forma en que se configuran los clasificadores lineales multiclase es que un ejemplo, , se clasifica por el hiperplano que proporciona la puntuación más alta: . No importa si estos puntajes son positivos o negativos. $x$ $\underset{k}{\mathrm{argmax}\,} w_k \cdot x$

Si la pérdida de la bisagra para un ejemplo particular es cero, entonces esto significa que el ejemplo está clasificado correctamente. Para ver esto, la pérdida de la bisagra será cero cuando . Esta es una condición más fuerte que , lo que indicaría que el ejemplo que estaba correctamente clasificado como . $1+w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$ $w_{k}\cdot x_i<w_{y_i}\cdot x_i \;\forall k$ $i$ $y_i$

El 1 en la pérdida de la bisagra está relacionado con el "margen" del clasificador.

La pérdida de la bisagra alienta a los puntajes de la clase correcta, no solo a ser más altos que los puntajes de todas las otras clases, , sino a ser más altos que estos puntajes por un factor aditivo. $w_{y_i}\cdot x_i$ $w_k\cdot x_i$

Podemos usar el valor 1 para el margen porque la distancia de un punto desde un hiperplano se escala por la magnitud de los pesos lineales: es la distancia de desde el hiperplano con vector normal . Dado que los pesos son los mismos para todos los puntos del conjunto de datos, solo importa que el factor de escala — 1 — sea el mismo para todos los puntos de datos. $\frac{w}{|w|}\cdot x$ $x$ $w$

Además, puede hacer que las cosas sean más fáciles de entender si parametriza la función de pérdida como . Actualmente tiene las funciones de pérdida en función del margen lineal, y este no es necesariamente el caso. $L(x,y;w)$

— usuario1149913
fuente

Bienvenido al sitio. Puede usar aquí. Para que se procese correctamente, simplemente envuélvalo en signos de dólar únicos para matemática en línea (al igual que en un documento ) y signos de dólar dobles para matemática de visualización. Mire el historial de revisiones si necesita más ayuda.

L A T E X

$\LaTeX$

L A T E X

$\LaTeX$

— cardenal

Además, supongo que es posible que haya tenido la intención de usar en \cdotlugar de \dot. Si es así, continúe y realice esas ediciones. Salud. :)

— cardenal

0

Le falta el resultado / etiqueta binaria (que puede tomar el valor de +1 y -1 para una clase dada) en la función de pérdida: max (0, 1 - y * (w * x)) (vea los detalles a continuación).

En general, creo que la especificación anterior (tanto la notación como la función de pérdida) complica demasiado uno contra todos; en cambio, uno podría tomar una clase particular, construir + 1 / -1 resultado y así como la matriz de datos correspondiente X (con columnas Nf y filas Ni) y el vector de parámetros w para esa clase, y escriba la función de pérdida de bisagra correspondiente para un clasificador binario clásico para esa clase: suma (max (0, 1 - y * (w * x))) donde la suma está sobre todas las instancias de datos, x es una fila de X que corresponde a una instancia particular. Uno necesita "1" en la función de pérdida de bisagra (ya que y * (w * x)> = 1 corresponde a la predicción correcta del modelo en lo que respecta a la función de pérdida).

— Yevgeny
fuente