Estadísticas y Big Data dimensionality-reduction

1

t-SNE con variables mixtas continuas y binarias

Actualmente estoy investigando la visualización de datos de alta dimensión usando t-SNE. Tengo algunos datos con variables mixtas binarias y continuas y los datos parecen agrupar los datos binarios con demasiada facilidad. Por supuesto, esto se espera para datos escalados (entre 0 y 1): la distancia euclidiana siempre será mayor …

10 python dimensionality-reduction unsupervised-learning tsne mixed-type-data

2

¿Por qué PCA maximiza la varianza total de la proyección?

Christopher Bishop escribe en su libro Pattern Recognition and Machine Learning una prueba de que cada componente principal consecutivo maximiza la varianza de la proyección a una dimensión, después de que los datos se hayan proyectado en el espacio ortogonal a los componentes previamente seleccionados. Otros muestran pruebas similares. Sin …

10 machine-learning variance pca dimensionality-reduction eigenvalues

1

R regresión lineal variable categórica valor "oculto"

Este es solo un ejemplo que he encontrado varias veces, por lo que no tengo ningún dato de muestra. Ejecutar un modelo de regresión lineal en R: a.lm = lm(Y ~ x1 + x2) x1Es una variable continua. x2es categórico y tiene tres valores, por ejemplo, "Bajo", "Medio" y "Alto". …

10 r regression categorical-data regression-coefficients categorical-encoding machine-learning random-forest anova spss r self-study bootstrap monte-carlo r multiple-regression partitioning neural-networks normalization machine-learning svm kernel-trick self-study survival cox-model repeated-measures survey likert correlation variance sampling meta-analysis anova independence sample assumptions bayesian covariance r regression time-series mathematical-statistics graphical-model machine-learning linear-model kernel-trick linear-algebra self-study moments function correlation spss probability confidence-interval sampling mean population r generalized-linear-model prediction offset data-visualization clustering sas cart binning sas logistic causality regression self-study standard-error r distributions r regression time-series multiple-regression python chi-squared independence sample clustering data-mining rapidminer probability stochastic-processes clustering binary-data dimensionality-reduction svd correspondence-analysis data-visualization excel c# hypothesis-testing econometrics survey rating composite regression least-squares mcmc markov-process kullback-leibler convergence predictive-models r regression anova confidence-interval survival cox-model hazard normal-distribution autoregressive mixed-model r mixed-model sas hypothesis-testing mediation interaction

3

Agrupación como reducción de dimensionalidad

Estoy leyendo un libro "Aprendizaje automático con chispa" de Nick Pentreath, y en la página 224-225 el autor discute sobre el uso de K-means como una forma de reducción de dimensionalidad. Nunca he visto este tipo de reducción de dimensionalidad, ¿tiene un nombre o / y es útil para formas …

10 clustering k-means dimensionality-reduction

3

PCA demasiado lento cuando ambos n, p son grandes: ¿alternativas?

Configuración del problema Tengo puntos de datos (imágenes) de alta dimensión (4096), que estoy tratando de visualizar en 2D. Para este fin, estoy usando t-sne de manera similar al siguiente código de ejemplo de Karpathy . La documentación de scikit-learn recomienda usar PCA para reducir primero la dimensión de los …

9 pca dimensionality-reduction high-dimensional java tsne

1

¿Cuál es la diferencia entre aprendizaje múltiple y reducción de dimensionalidad no lineal?

¿Cuál es la diferencia entre aprendizaje múltiple y reducción de dimensionalidad no lineal ? He visto que estos dos términos se usan indistintamente. Por ejemplo: http://www.cs.cornell.edu/~kilian/research/manifold/manifold.html : El aprendizaje múltiple (a menudo también denominado reducción de dimensionalidad no lineal) persigue el objetivo de incrustar datos que originalmente se encuentran en …

9 terminology dimensionality-reduction manifold-learning

2

Comprender esta trama de PCA de ventas de helados versus temperatura

Estoy tomando datos ficticios de temperatura vs Ventas de helados y los categoricé usando K Means (n clusters = 2) para distinguir 2 categorías (totalmente ficticias). Ahora estoy haciendo un Análisis de componentes principales en estos datos y mi objetivo es comprender lo que veo. Sé que el objetivo de …

9 pca interpretation k-means dimensionality-reduction

2

Reducción de dimensión escalable

Teniendo en cuenta la cantidad constante de características, Barnes-Hut t-SNE tiene una complejidad de , las proyecciones aleatorias y PCA tienen una complejidad de hace "asequibles" para conjuntos de datos muy grandes.O(nlogn)O(nlog⁡n)O(n\log n)O(n)O(n)O(n) Por otro lado, los métodos que se basan en el escalamiento multidimensional tienen una complejidad .O(n2)O(n2)O(n^2) ¿Existen …

9 pca dimensionality-reduction large-data multidimensional-scaling tsne

1

No se puede hacer que esta red de codificador automático funcione correctamente (con capas convolucionales y maxpool)

Las redes de autoencoder parecen ser mucho más difíciles que las redes MLP clasificadoras normales. Después de varios intentos de usar Lasagne, todo lo que obtengo en la salida reconstruida es algo que se asemeja en su mejor momento a un promedio borroso de todas las imágenes de la base …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders

2

¿Cómo demostrar que la suposición múltiple es correcta?

En el aprendizaje automático, a menudo se supone que un conjunto de datos se encuentra en un múltiple liso de baja dimensión (el supuesto múltiple), pero ¿hay alguna forma de demostrar que si se cumplen ciertas condiciones, entonces el conjunto de datos se genera (aproximadamente)? de un múltiple liso de …

9 machine-learning dimensionality-reduction manifold-learning

3

¿ICA requiere ejecutar PCA primero?

Revisé un documento basado en la solicitud que decía que aplicar PCA antes de aplicar ICA (usando el paquete fastICA). Mi pregunta es, ¿ICA (fastICA) requiere que PCA se ejecute primero? Este artículo menciona que ... también se argumenta que la aplicación previa de PCA mejora el rendimiento de ICA …

9 pca dimensionality-reduction pattern-recognition ica

4

Técnica no ortogonal análoga a la PCA

Supongamos que tengo un conjunto de datos de puntos 2D y quiero detectar las direcciones de todos los máximos locales de varianza en los datos, por ejemplo: PCA no ayuda en esta situación, ya que es una descomposición ortogonal y, por lo tanto, no puede detectar ambas líneas que indiqué …

9 pca dimensionality-reduction

2

Variables sesgadas en PCA o análisis factorial

Quiero hacer un análisis de componentes principales (análisis factorial) en SPSS basado en 22 variables. Sin embargo, algunas de mis variables están muy sesgadas (¡la asimetría calculada a partir de SPSS varía de 2 a 80!). Asi que aqui están mis preguntas: ¿Debo mantener las variables sesgadas de esa manera …

9 pca factor-analysis dimensionality-reduction skewness

3

¿Cuál es el punto de descomposición de valores singulares?

No entiendo por qué la reducción en la dimensión es importante. ¿Cuál es el beneficio de tomar algunos datos y reducir su dimensión?

9 dimensionality-reduction svd

1

¿Cómo interpretar los resultados de la reducción de dimensionalidad / escalamiento multidimensional?

Realicé una descomposición SVD y una escala multidimensional de una matriz de datos de 6 dimensiones, para obtener una mejor comprensión de la estructura de los datos. Desafortunadamente, todos los valores singulares son del mismo orden, lo que implica que la dimensionalidad de los datos es de hecho 6. Sin …

9 pca interpretation dimensionality-reduction svd

Preguntas etiquetadas con dimensionality-reduction