¿Cuál es la diferencia entre regresión ordinal y clasificación?

Tanto en la regresión ordinal como en la clasificación , está aprendiendo de una variable dependiente ordenada, por lo que mi pregunta es:

¿Cuál es la diferencia en la formulación (si la hay) entre el problema de regresión ordinal y un problema de aprendizaje para clasificar?

3 años después, respondo a mi propia pregunta.

Para mí, la principal diferencia está en cuál es el resultado de los modelos en los diferentes problemas. En la regresión ordinal, la tarea es predecir una etiqueta para una muestra dada, por lo tanto, el resultado de una predicción es una etiqueta (como es el caso, por ejemplo, en la clasificación multiclase). Por otro lado, en el problema de aprender a clasificar, la salida es un orden de una secuencia de muestras. Es decir, la salida de un modelo de clasificación puede verse como una permutación que hace que las muestras tengan etiquetas tan ordenadas como sea posible. Por lo tanto, a diferencia del modelo de regresión ordinal, el algoritmo de clasificación no puede predecir una etiqueta de clase. Debido a esto, la entrada de un modelo de clasificación no necesita especificar etiquetas de clase, sino solo un orden parcial entre las muestras (ver, por ejemplo, [0] para una aplicación de esto). En este sentido, la clasificación es un problema más fácil que la regresión ordinal:

Esto se explica mejor con un ejemplo. Supongamos que tenemos los siguientes pares de (muestra, etiqueta): . Ante esta entrada, un modelo de clasificación predecirá un orden de esta secuencia de muestras. Por ejemplo, para algoritmos de clasificación, las permutaciones y son predicciones con puntaje perfecto ya que Las etiquetas de ambas secuencias y están ordenadas. Por otro lado, una regresión ordinal predeciría una etiqueta para cada una de las muestras, y en este caso la predicción (1, 2, 2) daría una puntuación perfecta, pero no (1, 2, 3) o (1, 3, 2).$\{(x_1, 1), (x_2, 2), (x_3, 2)\}$$(1, 2, 3) \to (1, 2, 3)$$(1, 2, 3) \to (1, 3, 2)$$\{(x_1, 1), (x_2, 2), (x_3, 2)\}$$\{(x_1, 1), (x_3, 2), (x_2, 2)\}$

[0] Optimización de motores de búsqueda utilizando datos de clics Thorsten Joachims

¡Es una gran pregunta! En general, la diferencia entre estadísticas y aprendizaje automático o los enfoques de otros campos a "nuestras" preguntas puede ser difícil de entender, porque hay un zoológico de términos asociados a cada campo.

Entonces, por ejemplo, cuando las personas descubrieron que las redes neuronales de backprop estaban "simplemente" haciendo una regresión no lineal de algún tipo, eso fue como un hallazgo importante entre los investigadores .

Creo que este es el mismo tipo de cosas: solo hay muchas técnicas que las personas han ideado para atacar el mismo problema. La logística ordinaria es una.