Función objetivo, función de costo, función de pérdida: ¿son lo mismo?

En el aprendizaje automático, las personas hablan sobre la función objetivo, la función de costo, la función de pérdida. ¿Son solo nombres diferentes de la misma cosa? ¿Cuándo usarlos? Si no siempre se refieren a lo mismo, ¿cuáles son las diferencias?

Estos no son términos muy estrictos y están muy relacionados. Sin embargo:

• La función de pérdida suele ser una función definida en un punto de datos, predicción y etiqueta, y mide la penalización. Por ejemplo:
  • pérdida cuadrada , usado en regresión lineal$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • pérdida de bisagra , utilizada en SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 pérdida , utilizada en análisis teórico y definición de precisión$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• La función de costo suele ser más general. Puede ser una suma de funciones de pérdida sobre su conjunto de entrenamiento más alguna penalización de complejidad del modelo (regularización). Por ejemplo:
  • Error medio cuadrado$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Función de costo SVM (existen restricciones adicionales que conectan con y con el conjunto de entrenamiento)$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• La función objetivo es el término más general para cualquier función que optimice durante el entrenamiento. Por ejemplo, una probabilidad de generar un conjunto de entrenamiento en el enfoque de máxima verosimilitud es una función objetivo bien definida, pero no es una función de pérdida ni una función de costo (sin embargo, podría definir una función de costo equivalente). Por ejemplo:
  • MLE es un tipo de función objetivo (que maximizas)
  • La divergencia entre clases puede ser una función objetiva, pero apenas es una función de costo, a menos que defina algo artificial, como 1-Divergencia, y lo denomine costo

Larga historia corta, diría que:

Una función de pérdida es una parte de una función de costo que es un tipo de función objetivo.

Según el profesor Andrew Ng (ver diapositivas en la página 11),

La función h (X) representa su hipótesis. Para los parámetros de ajuste fijos theta, es una función de las características X. Yo diría que esto también se puede llamar la Función Objetivo.

La función de coste J es una función de los parámetros de ajuste theta. J = J (theta).

Según el libro de texto de Hastie et al. "Elementos del aprendizaje estadístico" , por p.37:

"Buscamos una función f (X) para predecir Y dados los valores de la entrada X". [...] la función de pérdida L (Y, f (X)) es "una función para penalizar los errores en la predicción",

Por lo tanto, parece que "función de pérdida" es un término un poco más general que "función de costo". Si busca "pérdida" en ese PDF, creo que usan "función de costo" y "función de pérdida" como sinónimos.

De hecho, p. 502

"La situación [en Clustering] es algo similar a la especificación de una función de pérdida o costo en problemas de predicción (aprendizaje supervisado)".

Quizás estos términos existen porque evolucionaron independientemente en diferentes comunidades académicas. "Función Objetivo" es un antiguo término utilizado en Investigación de Operaciones e Ingeniería Matemática. La "función de pérdida" podría ser más utilizada entre los estadísticos. Pero estoy especulando aquí.

En palabras de Andrew NG

"Finalmente, la función de pérdida se definió con respecto a un solo ejemplo de entrenamiento. Mide qué tan bien lo estás haciendo en un solo ejemplo de entrenamiento. Ahora voy a definir algo llamado función de costo, que mide qué tan bien estás haciendo un conjunto de entrenamiento completo. Entonces, la función de costo J que se aplica a sus parámetros W y B será el promedio con una de las m de la suma de la función de pérdida aplicada a cada uno de los ejemplos de entrenamiento y turno ".

De la sección 4.3 en "Aprendizaje profundo" - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://www.deeplearningbook.org/

"La función que queremos minimizar o maximizar se llama función objetivo o criterio. Cuando la minimizamos, también podemos llamarla función de costo, función de pérdida o función de error. En este libro, usamos estos términos indistintamente, aunque algunas publicaciones de aprendizaje automático asignan un significado especial a algunos de estos términos ".

En este libro, al menos, la pérdida y el costo son los mismos.

Para darle una respuesta corta, según yo, son sinónimos. Sin embargo, la función de costo se usa más en el problema de optimización y la función de pérdida se usa en la estimación de parámetros.

Los términos funciones de costo y pérdida son sinónimos, algunas personas también lo llaman función de error. El escenario más general es definir primero una función objetivo, que queremos optimizar. Esta función objetivo podría ser

1. maximizar las probabilidades posteriores (p. ej., Bayes ingenuas)
2. maximizar una función de acondicionamiento físico (programación genética)
3. maximizar la función de recompensa / valor total (aprendizaje de refuerzo)
4. maximizar la ganancia de información / minimizar las impurezas de los nodos secundarios (clasificación del árbol de decisión CART) 5. minimizar una función de costo (o pérdida) de error cuadrático medio (CART, regresión del árbol de decisión, regresión lineal, neuronas lineales adaptativas, ...
5. maximizar la probabilidad de registro o minimizar la función de pérdida de entropía cruzada (o costo) minimizar la pérdida de bisagra (máquina de vectores de soporte)

En realidad, para ser simple Si tienes m datos de entrenamiento como este (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Utilizamos la función de pérdida L (ycap, y) para encontrar la pérdida entre ycap e y de un solo conjunto de entrenamiento. Si queremos encontrar la pérdida entre ycap e y de todo un conjunto de entrenamiento, usamos función de costo.

Nota: - ycap significa salida de nuestro modelo ey significa salida esperada

Nota: - El crédito va Andrew ng Recurso: curso de red neuronal y aprendizaje profundo

La función de pérdida calcula el error para un solo ejemplo de entrenamiento, mientras que la función de costo es el promedio de las funciones de pérdida de todo el conjunto de entrenamiento.