Estadísticas y Big Data dimensionality-reduction

1

¿Cuál es la conexión entre mínimos cuadrados parciales, regresión de rango reducido y regresión de componentes principales?

¿La regresión de rango reducido y la regresión de componentes principales son solo casos especiales de mínimos cuadrados parciales? Este tutorial (Página 6, "Comparación de objetivos") establece que cuando hacemos mínimos cuadrados parciales sin proyectar X o Y (es decir, "no parcial"), se convierte en regresión de rango reducido o …

16 regression pca dimensionality-reduction partial-least-squares reduced-rank-regression

2

¿Métodos para fusionar / reducir categorías en datos ordinales o nominales?

Estoy luchando por encontrar un método para reducir el número de categorías en datos nominales u ordinales. Por ejemplo, supongamos que quiero construir un modelo de regresión en un conjunto de datos que tenga varios factores nominales y ordinales. Si bien no tengo problemas con este paso, a menudo me …

14 r categorical-data dimensionality-reduction many-categories

4

¿Qué variables explican qué componentes de PCA y viceversa?

Usando estos datos: head(USArrests) nrow(USArrests) Puedo hacer un PCA de esta manera: plot(USArrests) otherPCA <- princomp(USArrests) Puedo obtener los nuevos componentes en otherPCA$scores y la proporción de varianza explicada por componentes con summary(otherPCA) Pero, ¿qué sucede si quiero saber qué variables se explican principalmente por qué componentes principales? Y viceversa: …

14 r pca dimensionality-reduction regression-strategies

3

Elegir los hiperparámetros usando T-SNE para la clasificación

En un problema específico con el que trabajo (una competencia) tengo la siguiente configuración: 21 características (numéricas en [0,1]) y una salida binaria. Tengo aproximadamente 100 K filas. El escenario parece ser muy ruidoso. Yo y otros participantes aplicamos la generación de características por un tiempo y la inserción de …

13 machine-learning dimensionality-reduction unsupervised-learning tsne

1

Reducción supervisada de dimensionalidad

Tengo un conjunto de datos que consta de 15 K muestras etiquetadas (de 10 grupos). Quiero aplicar la reducción de dimensionalidad en 2 dimensiones, eso tomaría en consideración el conocimiento de las etiquetas. Cuando uso técnicas de reducción de dimensionalidad no supervisadas "estándar" como PCA, el diagrama de dispersión parece …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

2

¿Cuál es la diferencia entre la selección de características y la reducción de dimensionalidad?

Sé que tanto la selección de características como la reducción de dimensionalidad apuntan a reducir el número de características en el conjunto original de características. ¿Cuál es la diferencia exacta entre los dos si estamos haciendo lo mismo en ambos?

13 machine-learning pca feature-selection dimensionality-reduction

1

Álgebra de LDA. El poder de discriminación de Fisher de un análisis discriminante variable y lineal

Aparentemente, El análisis de Fisher apunta a maximizar simultáneamente la separación entre clases, mientras se minimiza la dispersión dentro de clase. Una medida útil del poder de discriminación de una variable viene dada por la cantidad diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Entiendo que el tamaño ( p x p) de la …

13 algorithms dimensionality-reduction discriminant-analysis sums-of-squares

3

PCA en datos de texto de alta dimensión antes de la clasificación aleatoria del bosque?

¿Tiene sentido hacer PCA antes de llevar a cabo una Clasificación de bosque aleatorio? Estoy tratando con datos de texto de alta dimensión, y quiero hacer una reducción de características para ayudar a evitar la maldición de la dimensionalidad, pero ¿Random Forests ya no tiene algún tipo de reducción de …

13 classification pca random-forest dimensionality-reduction high-dimensional

2

¿Puedo hacer un PCA sobre medidas repetidas para la reducción de datos?

Tengo 3 ensayos cada uno con 87 animales en cada uno de los 2 contextos (algunos datos faltantes; sin datos faltantes = 64 animales). Dentro de un contexto, tengo muchas medidas específicas (tiempo de entrar, el número de veces que regresan a la vivienda, etc.), por lo que quiero desarrollar …

13 repeated-measures pca dimensionality-reduction

1

¿Explicar los pasos del algoritmo LLE (incrustación lineal local)?

Entiendo que el principio básico detrás del algoritmo para LLE consta de tres pasos. Encontrar la vecindad de cada punto de datos por alguna métrica como k-nn. Encuentre pesos para cada vecino que denotan el efecto que tiene el vecino en el punto de datos. Construya la incrustación de baja …

13 machine-learning model-selection feature-selection dimensionality-reduction nonlinear

1

¿Cuál es el significado de los ejes en t-SNE?

Actualmente estoy tratando de entender las matemáticas de t-SNE . Desafortunadamente, todavía hay una pregunta que no puedo responder satisfactoriamente: ¿Cuál es el significado real de los ejes en un gráfico t-SNE? Si tuviera que hacer una presentación sobre este tema o incluirla en alguna publicación: ¿Cómo etiquetaría los ejes …

12 machine-learning dimensionality-reduction tsne

5

¿Cómo realizar la imputación de valores en una gran cantidad de puntos de datos?

Tengo un conjunto de datos muy grande y faltan alrededor del 5% de valores aleatorios. Estas variables están correlacionadas entre sí. El siguiente conjunto de datos R de ejemplo es solo un ejemplo de juguete con datos correlacionados ficticios. set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace …

12 r random-forest missing-data data-imputation multiple-imputation large-data definition moving-window self-study categorical-data econometrics standard-error regression-coefficients normal-distribution pdf lognormal regression python scikit-learn interpolation r self-study poisson-distribution chi-squared matlab matrix r modeling multinomial mlogit choice monte-carlo indicator-function r aic garch likelihood r regression repeated-measures simulation multilevel-analysis chi-squared expected-value multinomial yates-correction classification regression self-study repeated-measures references residuals confidence-interval bootstrap normality-assumption resampling entropy cauchy clustering k-means r clustering categorical-data continuous-data r hypothesis-testing nonparametric probability bayesian pdf distributions exponential repeated-measures random-effects-model non-independent regression error regression-to-the-mean correlation group-differences post-hoc neural-networks r time-series t-test p-value normalization probability moments mgf time-series model seasonality r anova generalized-linear-model proportion percentage nonparametric ranks weighted-regression variogram classification neural-networks fuzzy variance dimensionality-reduction confidence-interval proportion z-test r self-study pdf

1

¿Cómo elegir un kernel para kernel PCA?

¿Cuáles son las formas de elegir qué núcleo daría lugar a una buena separación de datos en la salida de datos final por el núcleo PCA (análisis de componentes principales), y cuáles son las formas de optimizar los parámetros del núcleo? Los términos simples, si es posible, serían muy apreciados, …

12 pca cross-validation dimensionality-reduction kernel-trick manifold-learning

4

Realización de PCA con solo una matriz de distancia

Quiero agrupar un conjunto de datos masivo para el que solo tengo las distancias por pares. Implementé un algoritmo k-medoids, pero está tardando demasiado en ejecutarse, así que me gustaría comenzar reduciendo la dimensión de mi problema aplicando PCA. Sin embargo, la única forma en que sé realizar este método …

12 pca dimensionality-reduction multidimensional-scaling

1

¿Cuál es el buen uso de t-SNE, aparte de la visualización de datos?

¿En qué situaciones debemos usar t-SNE (aparte de la visualización de datos)? T-SNE se utiliza para reducir la dimensionalidad. La respuesta a esta pregunta sugiere que t-SNE debería usarse solo para la visualización y que no deberíamos usarlo para la agrupación. Entonces, ¿cuál es el buen uso de t-SNE?

12 data-visualization dimensionality-reduction tsne

Preguntas etiquetadas con dimensionality-reduction