k-NN generaliza en un sentido muy restrictivo. Simplemente usa antecedentes de suavidad (o suposición de continuidad). Esta suposición implica que los patrones que están cerca del espacio de características probablemente pertenezcan a la misma clase. K-NN no puede recuperar la regularidad funcional en la distribución de patrones.
Por lo tanto, requiere muestras de entrenamiento representativas, que pueden ser extremadamente grandes, especialmente en casos de espacios de características altamente dimensionales. Peor aún, estas muestras pueden no estar disponibles. En consecuencia, no puede aprender invariantes. Si los patrones pueden estar sujetos a algunas transformaciones sin cambiar sus etiquetas, y la muestra de entrenamiento no contiene patrones transformados de todas las formas admisibles, k-NN nunca reconocerá los patrones transformados que no se presentaron durante el entrenamiento. Esto es cierto, por ejemplo, para imágenes desplazadas o rotadas, si no están representadas en alguna forma invariable antes de ejecutar k-NN. k-NN ni siquiera puede abstraer de características irrelevantes.
Otro ejemplo algo artificial es el siguiente. Imagine ese patrón que pertenece a diferentes clases distribuidas periódicamente (por ejemplo, de acuerdo con el seno, si es menor que 0, entonces los patrones pertenecen a una clase, y es mayor, entonces los patrones pertenecen a otra clase). El conjunto de entrenamiento es finito. Por lo tanto, se ubicará en una región finita. Fuera de esta región, el error de reconocimiento será del 50%. Uno puede imaginar la regresión logística con funciones de base periódicas que funcionarán mucho mejor en este caso. Otros métodos podrán aprender otras regularidades en la distribución de patrones y extrapolar bien.
Entonces, si uno sospecha que el conjunto de datos disponible no es representativo, y se debe lograr la invariabilidad de algunas transformaciones de patrones, entonces este es el caso, en el que uno debe moverse más allá de k-NN.