Preguntas etiquetadas con dimensionality-reduction

El análisis de componentes principales (PCA) generalmente se explica a través de una descomposición propia de la matriz de covarianza. Sin embargo, también se puede realizar a través de descomposición en valores singulares (SVD) de la matriz de datos . ¿Como funciona? ¿Cuál es la conexión entre estos dos enfoques? …

352 pca  dimensionality-reduction  matrix  svd 

El análisis de componentes principales (PCA) se puede utilizar para reducir la dimensionalidad. Después de realizar tal reducción de dimensionalidad, ¿cómo se puede reconstruir aproximadamente las variables / características originales a partir de un pequeño número de componentes principales? Alternativamente, ¿cómo se pueden eliminar o descartar varios componentes principales de …

113 pca  dimensionality-reduction  svd 

Escuché muchas veces sobre la maldición de la dimensionalidad, pero de alguna manera todavía no puedo entender la idea, todo está nublado. ¿Alguien puede explicar esto de la manera más intuitiva, como se lo explicaría a un niño, para que yo (y los demás confundidos como estoy) pudiéramos entender esto …

92 machine-learning  dimensionality-reduction  high-dimensional 

En general, ¿qué significa decir que la fracción de la varianza en un análisis como PCA se explica por el primer componente principal? ¿Alguien puede explicar esto intuitivamente pero también dar una definición matemática precisa de lo que significa "varianza explicada" en términos de análisis de componentes principales (PCA)?XXx Para …

90 regression  pca  linear-model  dimensionality-reduction 

Estoy confundido sobre el blanqueamiento de ZCA y el blanqueamiento normal (que se obtiene dividiendo los componentes principales por las raíces cuadradas de los valores propios de PCA). Por lo que sé, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite}, donde son vectores propios de PCA.UU\mathbf U ¿Cuáles son los usos …

60 pca  dimensionality-reduction  image-processing 

¿Qué técnicas están disponibles para contraer (o agrupar) muchas categorías a unas pocas, con el fin de usarlas como entrada (predictor) en un modelo estadístico? Considere una variable como estudiante universitario mayor (disciplina elegida por un estudiante universitario). Es desordenada y categórica, pero puede tener docenas de niveles distintos. Digamos …

58 regression  categorical-data  dimensionality-reduction  feature-construction  many-categories 

Quiero reducir la dimensionalidad de los sistemas de orden superior y capturar la mayor parte de la covarianza en un campo preferiblemente bidimensional o unidimensional. Entiendo que esto se puede hacer a través del análisis de componentes principales, y he usado PCA en muchos escenarios. Sin embargo, nunca lo he …

38 pca  data-visualization  binary-data  dimensionality-reduction  correspondence-analysis 

Cita de uno de los autores: La incrustación de vecinos estocásticos distribuidos en t (t-SNE) es una técnica ( premiada ) para la reducción de la dimensionalidad que es particularmente adecuada para la visualización de conjuntos de datos de alta dimensión. Entonces suena bastante bien, pero ese es el autor …

37 data-visualization  dimensionality-reduction  tsne 

En una asignación reciente, nos dijeron que usáramos PCA en los dígitos MNIST para reducir las dimensiones de 64 (imágenes de 8 x 8) a 2. Luego tuvimos que agrupar los dígitos usando un Modelo de Mezcla Gaussiana. La PCA que usa solo 2 componentes principales no produce grupos distintos …

34 classification  clustering  pca  dimensionality-reduction  tsne 

Mis preguntas ¿Cuál es la razón intuitiva detrás de hacer rotaciones de factores en el análisis factorial (o componentes en PCA)? Según tengo entendido, si las variables se cargan casi por igual en los componentes (o factores) superiores, entonces obviamente es difícil diferenciar los componentes. Entonces, en este caso, se …

33 pca  interpretation  factor-analysis  dimensionality-reduction  factor-rotation 

Antecedentes : quiero clasificar las áreas residenciales de una ciudad en grupos en función de sus características socioeconómicas, incluida la densidad de unidades de vivienda, la densidad de población, el área de espacios verdes, el precio de la vivienda, el número de escuelas / centros de salud / guarderías, etc. …

32 clustering  pca  k-means  dimensionality-reduction 

/ edit: Seguimiento adicional ahora puedes usar irlba :: prcomp_irlba / edit: siguiendo mi propio post. irlbaahora tiene argumentos de "centro" y "escala", que le permiten usarlo para calcular componentes principales, por ejemplo: pc <- M %*% irlba(M, nv=5, nu=0, center=colMeans(M), right_only=TRUE)$v Tengo una gran variedad Matrixde características que me …

31 r  pca  dimensionality-reduction  svd  matrix-decomposition 

Explicaré mi problema con un ejemplo. Suponga que desea predecir el ingreso de un individuo dados algunos atributos: {Edad, Sexo, País, Región, Ciudad}. Tienes un conjunto de datos de entrenamiento como este train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Tengo una matriz donde a (i, j) me dice cuántas veces he visto la página j individual. Hay 27K individuos y 95K páginas. Me gustaría tener un puñado de "dimensiones" o "aspectos" en el espacio de páginas que corresponderían a conjuntos de páginas que a menudo se ven juntas. Mi …

28 r  clustering  dimensionality-reduction 

Estaba utilizando el Análisis discriminante lineal (LDA) de la scikit-learnbiblioteca de aprendizaje automático (Python) para la reducción de la dimensionalidad y tenía un poco de curiosidad por los resultados. Ahora me pregunto qué scikit-learnestá haciendo la LDA para que los resultados se vean diferentes de, por ejemplo, un enfoque manual …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd