Ciclismo en algoritmo k-means

9

Según wiki, el criterio de convergencia más utilizado es "la asignación no ha cambiado". Me preguntaba si el ciclismo puede ocurrir si usamos ese criterio de convergencia. Me agradaría si alguien señalara una referencia a un artículo que dé un ejemplo de ciclismo o pruebe que esto es imposible.

clustering algorithms k-means

— Tomek Tarczynski
fuente

2

Permítanme enfatizar (ya que esto se pasa por alto a menudo) que las pruebas de convergencia necesitan una distancia euclidiana (al cuadrado) , de modo que la función de distancia y la función media optimicen el mismo criterio. Si usa una distancia diferente (en realidad, no debe usar una distancia, sino "la menor suma de cuadrados") puede perder la convergencia en k-medias.

— HA SALIDO - Anony-Mousse

7

Este artículo parece demostrar la convergencia en un número finito de pasos.

— Simon Byrne
fuente

1

¡Exactamente lo que estaba buscando!

— Tomek Tarczynski

4

La función objetivo significa disminuye estrictamente con cada cambio de asignación, lo que implica automáticamente la convergencia sin ciclar. Además, las particiones producidas en cada paso de significa que satisfacen una "propiedad de Voronoi" en el sentido de que cada punto siempre se asigna a su centro más cercano. Esto implica un límite superior en el número total de particiones posibles, lo que produce un límite superior finito en el tiempo de terminación para significa. $k$ $k$ $k$

— Suresh Venkatasubramanian
fuente

Gracias, es intuitivo que la función objetivo disminuye, pero no estaba seguro de que disminuya estrictamente. Quería asegurarme de que no haya un caso patológico como en la programación lineal

— Tomek Tarczynski

Pues si y no. Mientras converge, puede llevar un tiempo exponencial, al igual que lo hace el simplex. Además, para ambos problemas, puede demostrar que las variantes "suavizadas" convergen en el tiempo polinómico

— Suresh Venkatasubramanian

2

En precisión finita , puede aparecer ciclismo.

El ciclismo es frecuente en precisión simple, excepcional en precisión doble.

Cuando está cerca de un mínimo local, la función objetivo a veces puede aumentar ligeramente debido a errores de redondeo. Esto a menudo es inocuo ya que la función del algoritmo disminuye nuevamente y finalmente alcanza un mínimo local. Pero ocasionalmente, el algoritmo da un paso en una tarea visitada anteriormente y comienza a completar un ciclo.

Es fácil y seguro observar ciclos en implementaciones de criterios de detención del mundo real.

— François Pays
fuente