Estadísticas y Big Data pca

2

¿Por qué la cantidad de variación explicada por mi primera PC es tan cercana a la correlación promedio por pares?

¿Cuál es la relación entre los primeros componentes principales y la correlación promedio en la matriz de correlación? Por ejemplo, en una aplicación empírica, observo que la correlación promedio es casi la misma que la razón de la varianza del primer componente principal (primer valor propio) a la varianza total …

9 correlation pca mathematical-statistics eigenvalues

1

¿Cómo comparar los eventos observados con los esperados?

Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las …

9 r statistical-significance chi-squared multivariate-analysis exponential joint-distribution statistical-significance self-study standard-deviation probability normal-distribution spss interpretation assumptions cox-model reporting cox-model statistical-significance reliability method-comparison classification boosting ensemble adaboost confidence-interval cross-validation prediction prediction-interval regression machine-learning svm regularization regression sampling survey probit matlab feature-selection information-theory mutual-information time-series forecasting simulation classification boosting ensemble adaboost normal-distribution multivariate-analysis covariance gini clustering text-mining distance-functions information-retrieval similarities regression logistic stata group-differences r anova confidence-interval repeated-measures r logistic lme4-nlme inference fiducial kalman-filter classification discriminant-analysis linear-algebra computing statistical-significance time-series panel-data missing-data uncertainty probability multivariate-analysis r classification spss k-means discriminant-analysis poisson-distribution average r random-forest importance probability conditional-probability distributions standard-deviation time-series machine-learning online forecasting r pca dataset data-visualization bayes distributions mathematical-statistics degrees-of-freedom

1

Cuándo elegir PCA vs. LSA / LSI

Pregunta: ¿Existen pautas generales con respecto a las características de los datos de entrada que se pueden usar para decidir entre la aplicación de PCA versus LSA / LSI? Breve resumen de PCA vs. LSA / LSI: El análisis de componentes principales (PCA) y el análisis semántico latente (LSA) o …

9 machine-learning pca lsa

1

¿Cómo interpretar los resultados de la reducción de dimensionalidad / escalamiento multidimensional?

Realicé una descomposición SVD y una escala multidimensional de una matriz de datos de 6 dimensiones, para obtener una mejor comprensión de la estructura de los datos. Desafortunadamente, todos los valores singulares son del mismo orden, lo que implica que la dimensionalidad de los datos es de hecho 6. Sin …

9 pca interpretation dimensionality-reduction svd

2

¿Es posible usar kernel PCA para la selección de funciones?

¿Es posible utilizar el análisis de componentes principales del núcleo (kPCA) para la indexación semántica latente (LSI) de la misma manera que se utiliza PCA? Realizo LSI en R usando la prcompfunción PCA y extraigo las características con las cargas más altas de los primeros componentes. Por eso obtengo las …

9 r pca feature-selection kernel-trick

2

¿Cómo encontrar relaciones entre diferentes tipos de eventos (definidos por su ubicación 2D)?

Tengo un conjunto de datos de eventos que ocurrieron durante el mismo período de tiempo. Cada evento tiene un tipo (hay pocos tipos diferentes, menos de diez) y una ubicación, representada como un punto 2D. Me gustaría verificar si existe alguna correlación entre los tipos de eventos, o entre el …

9 correlation pca multivariate-analysis point-process

3

Sobre el uso de la rotación oblicua después de PCA

Varios paquetes estadísticos, como SAS, SPSS y R, le permiten realizar algún tipo de rotación de factores después de un PCA. ¿Por qué es necesaria una rotación después de un PCA? ¿Por qué aplicaría una rotación oblicua después de un PCA dado que el objetivo del PCA es producir dimensiones …

9 pca factor-analysis factor-rotation

2

Visualizar múltiples "histogramas" (gráficos de barras)

Tengo dificultades para seleccionar la forma correcta de visualizar datos. Digamos que tenemos librerías que venden libros , y cada libro tiene al menos una categoría . Para una librería, si contamos todas las categorías de libros, adquirimos un histograma que muestra la cantidad de libros que cae en una …

9 pca data-visualization histogram barplot

2

SVD de una matriz de datos después de una proyección ortogonal a un subespacio

Digamos que puedo conocer la SVD de alguna matriz XXX: X=USVTX=USVTX = USV^T Si tengo una matriz ortogonal AAA (es decir, AAA es cuadrado y tiene columnas ortonormales), entonces la SVD de XAXAXA es XA=USWTXA=USWTXA = USW^T dónde W=ATVW=ATVW = A^TV. Pero, ¿se puede decir algo sobre la SVD de …

9 pca svd matrix-decomposition

1

Hacer CCA versus construir una variable dependiente con PCA y luego hacer regresión

Dados dos conjuntos de datos multidimensionales, e , algunas personas realizan análisis multivariables mediante la construcción de una variable dependiente sustituta mediante el análisis de componentes principales (PCA). Es decir, ejecute PCA en el conjunto , tome puntajes a lo largo del primer componente , y ejecute una regresión múltiple …

9 regression multiple-regression pca canonical-correlation

3

¿La clasificación basada en redes neuronales necesita una reducción de dimensiones?

Estoy usando un clasificador basado en redes neuronales para ejecutar una clasificación para mis datos en n-dimensional. Entonces pensé que podría ser una buena idea ejecutar la reducción de dimensiones como PCA para mis datos al principio, y luego poner los resultados de PCA en el clasificador (conservo 3 PC). …

9 pca neural-networks

3

¿Cómo usar los componentes principales como predictores en GLM?

¿Cómo usaría el resultado de un análisis de componentes principales (PCA) en un modelo lineal generalizado (GLM), suponiendo que el PCA se use para la selección de variables para el GLM? Aclaración: Quiero usar PCA para evitar el uso de variables correlacionadas en el GLM. Sin embargo, PCA me da …

9 pca generalized-linear-model feature-selection

1

Correlacionar variables clínicas continuas y datos de expresión génica

En los análisis de clasificación SVM (núcleo lineal) de un conjunto de datos de expresión génica (~ 400 variables / genes) para ~ 25 cada uno de los casos y controles, encuentro que los clasificadores basados en la expresión génica tienen características de rendimiento muy buenas. Los casos y los …

8 correlation classification pca continuous-data

3

¿Cómo visualizar la verdadera dimensionalidad de los datos?

Tengo un conjunto de datos nominalmente de 16 dimensiones. Tengo alrededor de 100 muestras en un caso y alrededor de 20,000 en otro. Basado en varios análisis exploratorios que realicé utilizando PCA y mapas de calor, estoy convencido de que la verdadera dimensionalidad (es decir, el número de dimensiones necesarias …

8 data-visualization pca dimensionality-reduction

5

Artículos sobre análisis factorial bayesiano?

Estoy interesado en ajustar un modelo similar al análisis factorial en los rendimientos de activos u otros modelos de variables latentes similares. ¿Cuáles son buenos documentos para leer sobre este tema? Estoy particularmente interesado en cómo manejar el hecho de que un modelo de análisis factorial es idéntico bajo un …

8 bayesian pca factor-analysis

Preguntas etiquetadas con pca