Estadísticas y Big Data pca

1

Reducción supervisada de dimensionalidad

Tengo un conjunto de datos que consta de 15 K muestras etiquetadas (de 10 grupos). Quiero aplicar la reducción de dimensionalidad en 2 dimensiones, eso tomaría en consideración el conocimiento de las etiquetas. Cuando uso técnicas de reducción de dimensionalidad no supervisadas "estándar" como PCA, el diagrama de dispersión parece …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

¿Qué son los componentes principales "rotados" y "no rotados", dado que PCA siempre rota los ejes de coordenadas?

Hasta donde entiendo, los componentes principales se obtienen al rotar los ejes de coordenadas para alinearlos con las direcciones de máxima varianza. Sin embargo, sigo leyendo sobre "componentes principales no rotados" y mi software de estadísticas (SAS) me da componentes principales rotados varimax, así como los componentes no rotados. Aquí …

13 pca terminology factor-rotation

2

¿Cuál es la diferencia entre la selección de características y la reducción de dimensionalidad?

Sé que tanto la selección de características como la reducción de dimensionalidad apuntan a reducir el número de características en el conjunto original de características. ¿Cuál es la diferencia exacta entre los dos si estamos haciendo lo mismo en ambos?

13 machine-learning pca feature-selection dimensionality-reduction

1

¿Cómo interpretar las cargas de PCA?

Mientras leía sobre PCA, me encontré con la siguiente explicación: Supongamos que tenemos un conjunto de datos donde cada punto de datos representa los puntajes de un solo estudiante en una prueba de matemáticas, una prueba de física, una prueba de comprensión de lectura y una prueba de vocabulario. Encontramos …

13 pca

3

Implementación paso a paso de PCA en R usando el tutorial de Lindsay Smith

Estoy trabajando en R a través de un excelente tutorial de PCA de Lindsay I Smith y me estoy atascando en la última etapa. La secuencia de comandos R a continuación nos lleva a la etapa (en la p.19) donde los datos originales se están reconstruyendo a partir del Componente …

13 r pca

2

Selección de componentes de PCA que separan grupos

Frecuentemente solía diagnosticar mis datos multivariados usando PCA (datos ómnicos con cientos de miles de variables y docenas o cientos de muestras). Los datos a menudo provienen de experimentos con varias variables categóricas independientes que definen algunos grupos, y a menudo tengo que pasar por algunos componentes antes de poder …

13 pca linear-model r-squared discriminant-analysis

3

¿Cómo calcular componentes principales rotados con varimax en R?

Ejecuté PCA en 25 variables y seleccioné las 7 mejores PC usando prcomp. prc <- prcomp(pollutions, center=T, scale=T, retx=T) Luego hice rotación varimax en esos componentes. varimax7 <- varimax(prc$rotation[,1:7]) Y ahora deseo varimax rotar los datos rotados por PCA (ya que no es parte del objeto varimax, solo la matriz …

13 r pca factor-rotation

2

Para una matriz aleatoria, ¿no debería una SVD explicar nada? ¿Qué estoy haciendo mal?

Si construyo una matriz 2D compuesta completamente de datos aleatorios, esperaría que los componentes PCA y SVD esencialmente no explicaran nada. En cambio, parece que la primera columna SVD parece explicar el 75% de los datos. ¿Cómo puede ser esto posible? ¿Qué estoy haciendo mal? Aquí está la trama: Aquí …

13 r pca svd

3

PCA en datos de texto de alta dimensión antes de la clasificación aleatoria del bosque?

¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de reducción de …

13 classification pca random-forest dimensionality-reduction high-dimensional

3

¿Los componentes de PCA realmente representan el porcentaje de varianza? ¿Pueden sumar más del 100%?

"Machine Learning For Hackers" de O'Reilly dice que cada componente principal representa un porcentaje de la variación. He citado la parte relevante de la página a continuación (capítulo 8, p. 207). Hablando con otro experto, acordaron que es el porcentaje. Sin embargo, los 24 componentes suman 133.2095%. ¿Como puede ser? …

13 r pca

2

¿Puedo hacer un PCA sobre medidas repetidas para la reducción de datos?

Tengo 3 ensayos cada uno con 87 animales en cada uno de los 2 contextos (algunos datos faltantes; sin datos faltantes = 64 animales). Dentro de un contexto, tengo muchas medidas específicas (tiempo de entrar, el número de veces que regresan a la vivienda, etc.), por lo que quiero desarrollar …

13 repeated-measures pca dimensionality-reduction

5

Reducción de dimensionalidad SVD para series de tiempo de diferente longitud

Estoy usando la descomposición del valor singular como técnica de reducción de dimensionalidad. Dados los Nvectores de dimensión D, la idea es representar las características en un espacio transformado de dimensiones no correlacionadas, lo que condensa la mayor parte de la información de los datos en los vectores propios de …

13 time-series machine-learning pca data-transformation multivariate-analysis

1

Paquete GBM vs. Caret usando GBM

He estado usando el ajuste del modelo caret, pero luego volví a ejecutar el modelo usando el gbmpaquete. Entiendo que el caretpaquete usa gbmy el resultado debe ser el mismo. Sin embargo, solo una ejecución de prueba rápida usando data(iris)muestra una discrepancia en el modelo de aproximadamente 5% usando RMSE …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

1

PCA y puntajes de componentes basados en una combinación de variables continuas y binarias

Quiero aplicar un PCA en un conjunto de datos, que consiste en variables de tipo mixto (continuo y binario). Para ilustrar el procedimiento, pego un ejemplo mínimo reproducible en R a continuación. # Generate synthetic dataset set.seed(12345) n <- 100 x1 <- rnorm(n) x2 <- runif(n, -2, 2) x3 <- …

13 r pca

2

¿Cómo realizar la validación cruzada para PCA para determinar el número de componentes principales?

Estoy tratando de escribir mi propia función para el análisis de componentes principales, PCA (por supuesto, ya hay mucho escrito pero solo estoy interesado en implementar cosas por mí mismo). El principal problema que encontré es el paso de validación cruzada y el cálculo de la suma de cuadrados pronosticada …

13 pca cross-validation matlab

Preguntas etiquetadas con pca