Estadísticas y Big Data

Al realizar la agrupación jerárquica, se pueden usar muchas métricas para medir la distancia entre las agrupaciones. Dos de estas métricas implican el cálculo de los centroides y las medias de los puntos de datos en los grupos. ¿Cuál es la diferencia entre la media y el centroide? ¿No son …

26 clustering  mean 

Una vez escuché un método de usar el lazo dos veces (como un lazo doble) en el que realizas un lazo en el conjunto original de variables, por ejemplo, S1, obtienes un conjunto disperso llamado S2 y luego vuelves a realizar el lazo en el conjunto S2 para obtener el …

26 regression  lasso  regularization  shrinkage  lars 

¿Cuál es la mejor manera de calcular la descomposición de valores singulares (SVD) de una matriz positiva muy grande (65M x 3.4M) donde los datos son extremadamente escasos? Menos del 0.1% de la matriz no es cero. Necesito una forma que: cabe en la memoria (sé que existen métodos en …

26 svd  numerics 

He realizado una regresión en los condados de EE. UU. Y estoy buscando colinealidad en mis variables 'independientes'. Los diagnósticos de regresión de Belsley, Kuh y Welsch sugieren mirar el índice de condición y las proporciones de descomposición de la varianza: library(perturb) ## colldiag(, scale=TRUE) for model with interaction Condition …

26 r  multicollinearity  vif  variance-decomposition 

¿Alguien puede explicar las diferencias y dar ejemplos específicos de cómo utilizar estos tres análisis? LDA - Análisis discriminante lineal FDA - Análisis discriminante de Fisher QDA - Análisis discriminatorio cuadrático Busqué en todas partes, pero no pude encontrar ejemplos reales con valores reales para ver cómo se usan estos …

26 classification  discriminant-analysis 

¿Cuál es la distribución del coeficiente de determinación, o R al cuadrado, , en regresión múltiple univariada lineal bajo la hipótesis nula ?R 2 H 0 : β = 0R2R^2H0:β=0H_0:\beta=0 ¿Cómo depende de la cantidad de predictores y la cantidad de muestras ? ¿Existe una expresión de forma cerrada para …

26 regression  mathematical-statistics  r-squared  intuition 

Los modelos de temas populares como LDA generalmente agrupan palabras que tienden a coexistir juntas en el mismo tema (grupo). ¿Cuál es la principal diferencia entre tales modelos de temas y otros enfoques de agrupación basados ​​en la coincidencia simple como PMI? (PMI significa información mutua puntual, y se utiliza …

26 machine-learning  text-mining  natural-language  topic-models 

La prueba de Mantel generalmente se aplica a matrices simétricas de distancia / diferencia. Según tengo entendido, una suposición de la prueba es que la medida utilizada para definir las diferencias debe ser al menos semimétrica (cumplir con los requisitos estándar de una métrica pero no la desigualdad del triángulo). …

26 statistical-significance  assumptions  distance 

Trabajo principalmente con no estadísticos en campos como la medicina, las ciencias sociales y la educación. Ya sea que esté consultando con estudiantes de posgrado, ayudando a investigadores con artículos o revisando artículos para revistas, a menudo tengo el problema de que alguien (cliente, autor, comité de tesis, editor de …

26 consulting 

Quiero hacer un modelo logístico a partir de los datos de mi encuesta. Es una pequeña encuesta de cuatro colonias residenciales en la que solo se entrevistó a 154 encuestados. Mi variable dependiente es "transición satisfactoria al trabajo". Descubrí que, de los 154 encuestados, 73 dijeron que habían hecho una …

26 logistic  sample-size  assumptions  power  unbalanced-classes 

Estoy tratando de realizar una regresión múltiple en R. Sin embargo, mi variable dependiente tiene la siguiente gráfica: Aquí hay una matriz de diagrama de dispersión con todas mis variables ( WARes la variable dependiente): Sé que necesito realizar una transformación en esta variable (¿y posiblemente las variables independientes?) Pero …

26 r  regression  multiple-regression  data-transformation 

Estoy usando un modelo mixto en R( lme4) para analizar algunos datos de medidas repetidas. Tengo una respuesta variable (contenido de fibra de las heces) y 3 efectos fijos (masa corporal, etc.). Mi estudio solo tiene 6 participantes, con 16 medidas repetidas para cada uno (aunque dos solo tienen 12 …

26 mixed-model  sample-size 

Me pregunto cómo interpretar los errores estándar del coeficiente de una regresión cuando se usa la función de visualización en R. Por ejemplo en el siguiente resultado: lm(formula = y ~ x1 + x2, data = sub.pyth) coef.est coef.se (Intercept) 1.32 0.39 x1 0.51 0.05 x2 0.81 0.02 n = …

26 r  regression  interpretation 

Aunque leí esta publicación, todavía no tengo idea de cómo aplicar esto a mis propios datos y espero que alguien pueda ayudarme. Tengo los siguientes datos: y <- c(11.622967, 12.006081, 11.760928, 12.246830, 12.052126, 12.346154, 12.039262, 12.362163, 12.009269, 11.260743, 10.950483, 10.522091, 9.346292, 7.014578, 6.981853, 7.197708, 7.035624, 6.785289, 7.134426, 8.338514, 8.723832, 10.276473, …

26 r  regression  fitting 

Sé que la regresión lineal puede pensarse como "la línea que está verticalmente más cercana a todos los puntos" : Pero hay otra forma de verlo, visualizando el espacio de la columna, como "la proyección sobre el espacio atravesado por las columnas de la matriz de coeficientes" : Mi pregunta …

26 regression  intuition  geometry