¿Cuál es la maldición de la dimensionalidad?


21

Específicamente, estoy buscando referencias (documentos, libros) que muestren y expliquen rigurosamente la maldición de la dimensionalidad. Esta pregunta surgió después de que comencé a leer este libro blanco de Lafferty y Wasserman. En el tercer párrafo mencionan una ecuación "bien conocida" que implica que la mejor tasa de convergencia es norte-4 4/ /(4 4-re) ; si alguien puede exponer sobre eso (y explicarlo), eso sería muy útil.

Además, ¿alguien puede señalarme una referencia que derive la ecuación "bien conocida"?


77
No puedo exponer, pero creo que he escuchado lo que suenan como tres versiones diferentes de la maldición: 1) las dimensiones más altas significan una cantidad de trabajo que aumenta exponencialmente, y 2) en las dimensiones más altas obtendrá cada vez menos ejemplos en cualquier parte de su espacio muestral, y 3) en altas dimensiones, todo tiende a ser básicamente equidistante, lo que dificulta la distinción.
Wayne

55
Podrías interpretar esto geométricamente. Digamos que tienes una esfera en dimensiones D con radio r = 1. Luego puede hacer la pregunta sobre qué fracción del volumen de la esfera que se encuentra entre el radio r = 1 yr = 1-e. Como sabemos que el volumen de una esfera se escala como k (d) * r ^ (d), donde d es el número de dimensiones, podemos deducir que la fracción está dada por 1- (1-e) ^ d. Por lo tanto, para las esferas de alta dimensión, la mayor parte del volumen se concentra en una capa delgada cerca de la superficie. Vea más sobre esto en el libro de los Obispos "Reconocimiento de patrones y aprendizaje automático".
Dr. Mike

@Wayne seguro; más 5) más atenuaciones generalmente significan más ruido.

Dr. Mike, no sigo la lógica. Parece que estás diciendo que "dado que la mayor parte del volumen se concentra en una capa delgada cerca de la superficie de la esfera de alta dimensión, entonces estás maldito con la dimensionalidad". ¿Puede explicar más y tal vez explícitamente mostrarme cómo se vincula la analogía con las estadísticas?
khoda

Respuestas:


9

Siguiendo con richiemorrisroe, aquí está la imagen relevante de los Elementos del aprendizaje estadístico , capítulo 2 (pp22-27):

ESL página 25

Como puede ver en el panel superior derecho, hay más vecinos a 1 unidad de distancia en 1 dimensión que vecinos a 1 unidad de distancia en 2 dimensiones. ¡3 dimensiones serían aún peores!



6

Sé que sigo refiriéndome a él, pero hay una gran explicación de esto en Elementos del aprendizaje estadístico , capítulo 2 (pp22-27). Básicamente señalan que a medida que aumentan las dimensiones, la cantidad de datos debe aumentar (exponencialmente) con ella o no habrá suficientes puntos en el espacio muestral más grande para que se pueda realizar un análisis útil.

Se refieren a un artículo de Bellman (1961) como su fuente, que parece ser su libro Adaptive Control Processes, disponible en Amazon aquí.


+1. La explicación en ESL es excelente, y los diagramas asociados ayudan mucho.
Zach

2

ingrese la descripción de la imagen aquí

Quizás el impacto más notorio es capturado por el siguiente límite (que se ilustra (indirectamente) en la imagen de arriba):

limreyometroreyostmetrounaX-reyostmetroyonortereyostmetroyonorte

L2kLk


Impacto de la dimensionalidad en los datos en imágenes

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.