Preguntas etiquetadas con high-dimensional

Leí que "la distancia euclidiana no es una buena distancia en grandes dimensiones". Supongo que esta afirmación tiene algo que ver con la maldición de la dimensionalidad, pero ¿qué es exactamente? Además, ¿qué son las "altas dimensiones"? He estado aplicando agrupamiento jerárquico usando la distancia euclidiana con 100 características. ¿Hasta …

241 machine-learning  clustering  distance-functions  metric  high-dimensional 

Escuché muchas veces sobre la maldición de la dimensionalidad, pero de alguna manera todavía no puedo entender la idea, todo está nublado. ¿Alguien puede explicar esto de la manera más intuitiva, como se lo explicaría a un niño, para que yo (y los demás confundidos como estoy) pudiéramos entender esto …

92 machine-learning  dimensionality-reduction  high-dimensional 

Anteriormente pregunté esto en StackOverflow, pero parece que podría ser más apropiado aquí, dado que no obtuvo ninguna respuesta en SO. Es una especie de intersección entre estadísticas y programación. Necesito escribir un código para hacer PCA (Análisis de componentes principales). He examinado los algoritmos conocidos e implementado este , …

54 pca  algorithms  model-evaluation  high-dimensional 

Quiero usar Lazo o regresión de cresta para un modelo con más de 50,000 variables. Quiero hacerlo usando el paquete de software en R. ¿Cómo puedo estimar el parámetro de contracción ( λλ\lambda )? Ediciones: Este es el punto al que me levanté: set.seed (123) Y <- runif (1000) Xv …

36 r  lasso  ridge-regression  high-dimensional 

He estado leyendo mucho sobre el algoritmo -snettt para la reducción de dimensionalidad. Estoy muy impresionado con el rendimiento en los conjuntos de datos "clásicos", como MNIST, donde logra una separación clara de los dígitos ( ver artículo original ): También lo he usado para visualizar las características aprendidas por …

23 clustering  data-visualization  dimensionality-reduction  high-dimensional  tsne 

Estoy ejecutando un pequeño experimento con la regresión LASSO en R para probar si es capaz de encontrar un par de predictores perfecto. El par se define así: f1 + f2 = resultado El resultado aquí es un vector predeterminado llamado 'edad'. F1 y f2 se crean tomando la mitad …

20 r  regression  feature-selection  lasso  high-dimensional 

Algunas de las características de mis datos tienen valores grandes, mientras que otras tienen valores mucho más pequeños. ¿Es necesario centrar + escalar datos antes de aplicar t-SNE para evitar sesgos hacia los valores más grandes? Uso la implementación sklearn.manifold.TSNE de Python con la métrica de distancia euclidiana predeterminada.

18 normalization  dimensionality-reduction  high-dimensional  tsne 

Entiendo lo que es la "maldición de la dimensionalidad", y he hecho algunos problemas de optimización de alta dimensión y conozco el desafío de las posibilidades exponenciales. Sin embargo, dudo que la "maldición de la dimensionalidad" exista en la mayoría de los datos del mundo real (bueno, dejemos de lado …

17 clustering  dimensionality-reduction  high-dimensional 

Estoy tratando de leer sobre la investigación en el área de regresión de alta dimensión; cuando ppp es mayor que nnn , es decir, p>>np>>np >> n . Parece que el término logp/nlog⁡p/n\log p/n aparece a menudo en términos de tasa de convergencia para estimadores de regresión. Por ejemplo, aquí …

16 regression  lasso  convergence  high-dimensional 

Los lugares que he estado leyendo sobre la maldición de la dimensionalidad lo explican conjuntamente con kNN principalmente, y los modelos lineales en general. Regularmente veo a los mejores clasificados en Kaggle usando miles de características en el conjunto de datos que apenas tiene 100k puntos de datos. Utilizan principalmente …

15 neural-networks  svm  k-means  k-nearest-neighbour  high-dimensional 

¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de reducción de …

13 classification  pca  random-forest  dimensionality-reduction  high-dimensional 

Creo que el título de esta pregunta lo dice todo.

12 clustering  k-means  high-dimensional 

Nuestro profesor no está entrando en las matemáticas o incluso en la representación geométrica de la regresión lineal múltiple y esto me tiene un poco confundido. Por un lado, todavía se llama regresión lineal múltiple , incluso en dimensiones más altas. Por otro lado, si tenemos, por ejemplo, y podemos …

11 multiple-regression  high-dimensional 

Estoy leyendo el libro de Kevin Murphy: Aprendizaje automático: una perspectiva probabilística. En el primer capítulo, el autor explica la maldición de la dimensionalidad y hay una parte que no entiendo. Como ejemplo, el autor afirma: Considere que las entradas están distribuidas uniformemente a lo largo de un cubo de …

11 self-study  k-nearest-neighbour  high-dimensional 

Esto se cita muy a menudo cuando se menciona la maldición de la dimensionalidad y va (fórmula de la derecha llamada contraste relativo) limre→ ∞var ( | | XreEl | El |kmi[ | El | XreEl | El |k]) =0,entonces: Dmaxkre- Dminkrereminkre→ 0limre→∞var(El |El |XreEl |El |kmi[El |El |XreEl |El …

10 machine-learning  distance-functions  high-dimensional