Construyendo una función de pérdida específica del problema

Descripción del problema

Estoy comenzando la construcción de la red para un problema que creo podría tener una función de pérdida mucho más perspicaz que una simple regresión de MSE.

Mi problema trata con la clasificación de varias categorías ( vea mi pregunta sobre SO para saber a qué me refiero con esto), donde hay una distancia o relación definida entre categorías que deben tenerse en cuenta.

Otro punto es que el número de categorías de disparo presentes no debería afectar el error. Es decir, el error para 5 categorías de disparo cada una desactivada en 0.1, debería ser el mismo que 1 categoría de disparo desactivada en 0.1. (al disparar me refiero a que no son cero o están por encima de algún umbral)

Puntos clave

clasificación multicategoría (disparo múltiple a la vez)
relaciones entre categorías
El recuento de categorías de disparo no debe afectar la pérdida:

Mi intento

El error cuadrático medio parece un buen lugar para comenzar:

Esto es simplemente considerar categoría por categoría, que sigue siendo valioso en mi problema, pero pierde una gran parte de la imagen.

Aquí está mi intento de rectificar la idea de distancia entre categorías. A continuación, me gustaría tener en cuenta la cantidad de categorías activadas ( llámelo: v )

Mi pregunta

Tengo un bagaje muy débil en estadística; Como resultado, no tengo muchas herramientas en mi haber para abordar un problema como este. El tema general de lo que estoy preguntando parece ser "Al formar una función de costo, ¿cómo se combina la medición múltiple del costo? ¿O qué técnicas se pueden aplicar para hacerlo?" . También agradecería tener cualquier defecto en mi proceso de pensamiento expuesto y mejorado.

Valoro que me enseñen por qué mis errores son errores, en lugar de que alguien solo los corrija sin explicación.

Si alguna parte de esta pregunta carece de claridad o podría mejorarse, avíseme.

neural-networks loss-functions

— Aidan Gómez
fuente

Aidan, es bueno ver tanto pensamiento dedicado a construir una función de pérdida específica del problema. Me inclinaría a ver esto como un problema matemático, en lugar de un problema de estadística. Está buscando una función de pérdida que lleve matrices de 2x5 a los números reales, y tiene algunas ideas sólidas sobre ciertos invariantes que esta función debería satisfacer, lo que impone restricciones en la forma funcional. Si explicas el significado de tus matrices, probablemente podría ofrecerte una guía más específica para desarrollar tu función de pérdida.

— David C. Norris

Puede usar la pérdida de bisagra, que es un límite superior en la pérdida de clasificación; es decir, penaliza el modelo si la etiqueta de la categoría de mayor puntuación es diferente de la etiqueta de la clase de verdad básica.

Para obtener más detalles sobre la relación entre la pérdida de clasificación y la pérdida de bisagra, puede leer la Sección 2 de este impresionante artículo de CNJ Yu y T. Joachims.

En resumen, hay una pérdida de tarea , generalmente denotada por , que mide la penalización por predecir la salida para la entrada cuando la salida esperada (verdad ) es . La pérdida de tareas para la clasificación de clases múltiples generalmente se define como . Sin embargo, siempre que solo dependa de las dos etiquetas y , puede definirlo como desee. En particular, uno puede ver como una arbitraria $\Delta \left( y_i, \hat{y}(x_i) \right)$ $\hat{y}(x_i)$ $x_i$ $y_i$ $\Delta \left( y_i, \hat{y}(x_i) \right) = \mathbf{1}\{ y_i \neq \hat{y}(x_i) \}$ $\Delta$ $y$ $\hat{y}$ $\Delta$ $K \times K$ matriz donde es el número de categorías y indica la penalización de clasificar una entrada de la categoría como perteneciente a la categoría . $K$ $\Delta(a, b)$ $a$ $b$

Por ejemplo: $\\\text{input data}: \\ \{(x_1, y_1), (x_2, y_2), (x_3, y_3)\}, \quad x_i \in \mathbb{R}^d, \quad y_i \in \mathcal{Y}=\{c_1, c_2, c_3, c_4\} \\ \text{network predictions}:\\ \hat{y}(x_1)=c_2, \quad \hat{y}(x_2)=c_1, \quad \hat{y}(x_3)=c_3 \\ \text{task loss matrix}:\\ \begin{bmatrix} \Delta(y_{1}, y_{1}) & \Delta(y_{1}, y_{2}) & \Delta(y_{1}, y_{3}) & \Delta(y_{1}, y_{4}) \\ \Delta(y_{2}, y_{1}) & \Delta(y_{2}, y_{2}) & \Delta(y_{2}, y_{3}) & \Delta(y_{2}, y_{4}) \\ \Delta(y_{3}, y_{1}) & \Delta(y_{3}, y_{2}) & \Delta(y_{3}, y_{3}) & \Delta(y_{3}, y_{4}) \\ \Delta(y_{4}, y_{1}) & \Delta(y_{4}, y_{2}) & \Delta(y_{4}, y_{3}) & \Delta(y_{4}, y_{4}) \end{bmatrix} = \begin{bmatrix} 0 & 1 & 2 & 3 \\ 1 & 0 & 1 & 2 \\ 2 & 1 & 0 & 1 \\ 3 & 2 & 1 & 0 \end{bmatrix} \\ \text{classification loss assuming $\quad y_1=c_4, \quad y_2=c_1, \quad y_3=c_4$:} \\ \Delta(y_1, \hat{y}(x_1)) = \Delta(c_4, c_2) = 2 \\ \Delta(y_2, \hat{y}(x_2)) = \Delta(c_1, c_1) = 0 \\ \Delta(y_3, \hat{y}(x_3)) = \Delta(c_4, c_3) = 1 \\$

— Sobi
fuente

Muchas gracias por la respuesta. He agregado un ejemplo a su pregunta (puede que aún esté en revisión por pares cuando vea este comentario). ¿Pueden confirmar que mi interpretación es correcta?

— Aidan Gómez

Ya veo, esto es valioso en un problema de estilo de clasificación, pero el mío es la regresión (con etiquetas multidimensionales), donde varias categorías pueden estar "activadas" al mismo tiempo. Esto parece ser similar a un argmax; para cada entrada solo considera la categoría de salida más grande. En mi problema, uno podría tener una etiqueta como {1,0,1,1} donde las categorías 0, 2, 3 están presentes en los datos pero la categoría 1 no. Si mi red adivinó {0.8, 0, 0.6, 0.3}, mi pérdida no debería ser la misma que una conjetura como {0.8, 0, 0.7, 0.7}.

— Aidan Gómez

¡Todavía creo que mi respuesta responde a tu pregunta! Lo que expliqué se llama SVM estructural, donde la etiqueta space (es decir, el espacio en el que viven las etiquetas de verdad básica) puede tener cualquier estructura. Me parece que lo que quiere se puede obtener de la siguiente manera: considere un problema de clasificación con categorías ; definir . La única cosa es que el tamaño de su matriz se convierte entonces en . Sin embargo, es posible que no necesite especificar la matriz. No dude en solicitar más detalles si esto suena para responder a su pregunta.

Y

$\mathcal{Y}$

K

$K$

Y = {0, 1}^{K}

$\mathcal{Y} = \{0, 1\}^K$

Δ

$\Delta$

2^{K} \times 2^{K}

$2^K \times 2^K$

— Sobi

Esto suena como la ruta correcta, ¿podría proporcionar un ejemplo fácil como lo hicimos para el caso de etiqueta unidimensional? Quizás para K = 2 o 3

— Aidan Gómez

Digamos que para una entrada la respuesta correcta es pero sus clasificadores predicen . En este caso, supongo . Puede definir la función de pérdida como, por ejemplo,; Esto observa las predicciones del clasificador para todas las clases y devuelve el valor de pérdida de la clase, que es el más alejado de su correspondiente valor de verdad fundamental.

x

$x$

y = (0, 1, 1)

$y=(0, 1, 1)$

\hat{y} (x) = (0.1, 0.9, 0.8)

$\hat{y}(x)=(0.1, 0.9, 0.8)$

Δ : {0, 1}^{3} \times [0, 1]^{3} \to R

$\Delta: \{0, 1\}^3 \times [0, 1]^3 \rightarrow \mathbb{R}$

Δ (y, \hat{y}) = {max}_{k = 1}^{K} | y [k] - \hat{y} [k] |

$\Delta(y, \hat{y}) = \max_{k=1}^K |y[k] - \hat{y}[k]|$

— Sobi