Calcular la distancia al késimo vecino más cercano para todos los puntos del conjunto

Para una aplicación de aprendizaje de máquina, mis necesidades de grupo para calcular la distancia euclídea a la ésimo vecino más cercano en un conjunto para cada (para entre 5 y aproximadamente 100 , y algunos cientos hasta unos pocos millones). Actualmente estamos utilizando el enfoque de fuerza bruta o el obvio con un árbol kd en , que cuando es alto yes relativamente bajo, nunca gana. (Todo está en la memoria). $k$ $X$ $x \in (X \cup Y) \subset \mathbb R^d$ $d$ $|X| \approx |Y|$ $O(d \lvert X \rvert \lvert X \cup Y \rvert)$ $X$ $d$ $|X|$

Sin embargo, parece que debe haber una mejor manera que la fuerza bruta, al menos una que aproveche la desigualdad del triángulo, o tal vez con hashes sensibles a la localidad. Una aproximación razonablemente ajustada también está potencialmente bien.

La investigación que he podido encontrar parece centrarse en el problema de encontrar el vecino más cercano (o uno que sea aproximadamente el más cercano). ¿El problema que busco tiene otro nombre o hay una conexión con un problema relacionado en el que no he pensado?

reference-request cg.comp-geom near-neighbors

— Dougal
fuente

Los árboles kd SÍ aprovechan la desigualdad del triángulo. ¿Has intentado usar otros árboles de partición de datos espaciales? Otra cosa que podría considerar (no sé nada de su algoritmo de aprendizaje automático) si los puntos específicos tienden a tener estructura, lo que podría ayudarlo a encontrar rápidamente hiperplanos y usarlos en un árbol similar a kd en lugar de la mediana habitual por- división de coordenadas que funciona mal en altas dimensiones.

— Ross Snider el

@RossSnider gracias por las sugerencias. Y claro, los árboles KD usan la desigualdad del triángulo, pero estaba pensando en algo que sería más rápido que la fuerza bruta. :) ¿Qué otros tipos de árboles de partición de datos espaciales recomendaría? De la lista de Wikipedia, tal vez solo los árboles vp parezcan aplicables, y no parecen ser mejores que los árboles kd para la distancia euclidiana. Y pensaré si hay una mejor forma específica de problemas para definir la separación de hiperplanos, pero no se me ocurre uno.

— Dougal

Supongo que esperaba que el hecho de que sabemos que estamos evaluando esto para todos

X

$X$ (así como otros puntos) permitiría algún tipo de ayuda en el algoritmo. Sin embargo, no estoy seguro de que sea así.

— Dougal

que es

k

$k$ típicamente en sus aplicaciones?

— Suresh Venkat

@SureshVenkat Usualmente usamos un

k

$k$ de aproximadamente 3, a veces un poco más grande.

— Dougal

Respuestas:

Aquí hay un truco simple que podría ser útil. Considere una muestra aleatoria que selecciona cada punto con probabilidad 1 / k. Es fácil verificar que con buena probabilidad exactamente uno de sus k vecinos más cercanos estaría en la muestra. Calcule el vecino más cercano en la muestra. Repita esto O (k log n) veces. Con alta probabilidad los k puntos más cercanos en el $O(k \log n)$ los puntos calculados son los k vecinos más cercanos a su consulta. Por lo tanto, encontrar el k vecino más cercano es equivalente a hacer $O( k \log n)$ consultas vecinas más cercanas.

En resumen, dame una estructura de datos rápida para responder a las consultas de vecinos más cercanos, y me complacería darte una estructura de datos rápida de k-vecino más cercano.

— Sariel Har-Peled
fuente

Buen truco. También debería estar bien reutilizar las muestras para diferentes puntos de consulta, ¿verdad? Entonces para calcular el

k

$k$ -nearest-neighbour para cada punto del conjunto, solo necesito construir la estructura de datos

O (k \log n)

$O(k \log n)$ veces.

— Dougal

Reutilizar las muestras es complicado, porque entonces se requiere que una muestra fija funcione para CUALQUIER consulta (la cuantificación se invierte) y, por lo tanto, las probabilidades cambiarían. La idea general sería construir un conjunto de muestras de mayor tamaño (esto depende de las # consultas) y usarlas, si eso es un problema.

— Suresh Venkat

@SureshVenkat Ah, por supuesto. Me sentaré y averiguaré las probabilidades reales. ¡Gracias a todos!

— Dougal

Si lo haces

O (k \log (1 / δ))

$O( k \log (1/\delta))$ muestras, entonces cada consulta tiene éxito con probabilidad

\geq 1 - δ

$\geq 1-\delta$ . Tenga en cuenta que este truco es un poco mejor de lo que parece a primera vista: tiene

O (k \log n)

$O(k \log n)$ muestras, cada una de ellas de tamaño

O (n / k)

$O( n/k)$ (con alta probabilidad si

k

$k$ no es muy grande) Lo que significa un mejor tiempo de consulta para cada una de las muestras.

— Sariel Har-Peled

Una solución aproximada barata que utiliza un "hash sensible a la localidad" sería convertir cada punto en su forma intercalada:

[xxx, aaa, zzz] -> xyzxyzxyz

luego la clasificación de radix para el preprocesamiento.

Elija su punto de consulta y listo $k$ apunta en ambas direcciones para obtener un tamaño $2k$ conjunto; entonces toma el $kth$ más cercano a tu punto. También vea este artículo de Connor y Kumar.

También vea este artículo de Callahan y Kosaraju.

— Chad Brewbaker
fuente