¿Qué hace que un clasificador clasifique mal los datos? [cerrado]

¿Podría ser de los datos en sí? ¿O es porque el modelo no puede detectar eficientemente las similitudes entre los datos, o hay otras razones para una clasificación errónea?

Supongamos que está hablando de una clasificación errónea en los datos de entrenamiento, es decir, es difícil minimizar la pérdida en el conjunto de datos de entrenamiento, no hay problema de sobreajuste de datos de prueba.

Tiene razón en que, en la mayoría de los casos, la clasificación errónea puede provenir de "el modelo es demasiado simple" o "los datos son demasiado ruidosos". Me gustaría dar dos ejemplos para ilustrar más.

1. El modelo es "demasiado simple" para capturar los "patrones en los datos".

   • El ejemplo se muestra en la figura de la izquierda. Supongamos que queremos usar una regresión logística / una línea para separar dos clases, pero las dos clases no son linealmente separables.

   • En este caso, todavía hay "patrones notables en los datos", y si cambiamos el modelo, podemos mejorar. Por ejemplo, si usamos el clasificador KNN, en lugar de la regresión logística, podemos tener un rendimiento muy bueno.

2. Los datos tienen demasiado ruido, es muy difícil hacer la tarea de clasificación.

   • El ejemplo se muestra en la figura de la derecha, donde, si verifica el código, verá que dos clases son muy similares (dos clases son gaussianas 2D, la media es $0.01\times 2$ aparte, pero la desviación estándar para cada clase es $1.0$) Es esencialmente una tarea muy desafiante.

Tenga en cuenta que los dos ejemplos son triviales, ya que podemos visualizar los datos y el clasificador. En el mundo real, no es el caso, cuando tenemos millones de puntos de datos y clasificadores súper complicados.

Código:

library(mlbench)
set.seed(0)
par(mfrow=c(1,2))
d=mlbench.spirals(500)
plot(d)
lg_fit=glm(d$classes~d$x[,1]+d$x[,2]-1,family=binomial())
abline(0,-lg_fit$coefficients[1]/lg_fit$coefficients[2])

d2=mlbench.2dnormals(500,r=0.01)
plot(d2)

Además de @ hxd1011 (+1).

1. Desequilibrio de clase en términos relativos o términos absolutos. En ambos casos construimos una representación inadecuada de la clase de interés. Por lo general, el último es más difícil de superar. (Referencia de ejemplo: Aprendiendo de datos desequilibrados por él y García)
2. Criterios de clasificación inadecuados. Capacitamos a nuestro clasificador usando una función de evaluación inapropiada y / o usamos criterios inapropiados para derivar nuestra solución final. Problema muy común al usar "soluciones enlatadas". (Ejemplo de referencia: Daño causado por la precisión de clasificación y otras reglas de puntuación de precisión incorrecta discontinua por Harrell)
3. No hay clase en la realidad. Deseamos que haya algo allí, pero realmente no hay nada. Por lo general, la experiencia en el dominio aleja a las personas de esto, pero como recién llegado, esto siempre es un problema. (Ejemplo de referencia: nuestra vida diaria. El sesgo de publicación probablemente también sea un problema aquí ...)
4. Sobreajuste Tenemos un modelo decente y un conjunto de datos decente, pero no formamos adecuadamente la construcción de un modelo poco realista. Por lo general, esto se relaciona con el punto 2. (¡Puntos extra por falta de ajuste!) (Ejemplo de referencia: El problema del sobreajuste por Hawkings)
5. Deriva de concepto. Las cosas cambian y no volvemos a entrenar. Nuestro clasificador tiene un rendimiento excelente en nuestra muestra de marketing de "ventas navideñas". Sí, usar este modelo en julio probablemente será una molestia ... (Ejemplo de referencia: Una encuesta sobre adaptación de deriva conceptual por Gama et al.)
6. Fuga de datos / características mágicas. Capacitamos a partir de información que no estará disponible en el momento de la predicción. Común cuando se tienen eventos / series temporales como datos. (Referencia de ejemplo: Fuga en minería de datos: formulación, detección y evitación por Kaufman et al.)