Estoy tratando de obtener una perspectiva global sobre algunas de las ideas esenciales en el aprendizaje automático, y me preguntaba si existe un tratamiento integral de las diferentes nociones de pérdida (cuadrado, log, bisagra, proxy, etc.). Estaba pensando en algo similar a una presentación más completa y formal de la excelente publicación de John Langford sobre la Semántica de la Función de Pérdida .
Respuestas:
El tutorial sobre aprendizaje basado en la energía de LeCun et al. podría conseguirte una buena parte del camino hasta allí. Describen varias funciones de pérdida y discuten qué las hace "buenas o malas" para los modelos basados en energía.
La función de pérdida está dada por el problema. Podría ser cualquier cosa. Por ejemplo, también podría penalizar el tiempo y el espacio de la CPU utilizada.
En el aprendizaje por refuerzo, la función de pérdida es una función no determinista desconocida. No puede redefinirlo sin cambiar el problema.
Sé que esta pregunta está un poco anticuada, pero es algo en lo que estoy interesado actualmente.
Un muy buen artículo sobre el tema de las funciones de pérdida convexa y la consistencia del clasificador es " Comportamiento estadístico y consistencia de los métodos de clasificación basados en la minimización del riesgo convexo " por Tong Zhang.