Estadísticas y Big Data

Soy nuevo en ciencia de datos y tengo problemas para encontrar clústeres en un conjunto de datos con 200,000 filas y 50 columnas en R. Dado que los datos tienen variables tanto numéricas como nominales, los métodos como K-means que usa la medida de distancia euclidiana no parecen ser una …

13 r  clustering  sampling  large-data 

Pregunta bastante básica: ¿Qué significa una distribución normal de residuos de una regresión lineal? En términos de, ¿cómo se refleja esto en mis datos originales de la regresión? Estoy totalmente perplejo, gracias chicos

13 regression  residuals 

Imagina que hay 80 jugadores de dodgeball en el mundo. Cada uno de ellos ha jugado miles de juegos de dodgeball con los otros 79 jugadores en un orden más o menos aleatorio. Este es un mundo sin equipos (por ejemplo, cada jugador tiene la posibilidad de ser reclutado en …

13 probability  games  paired-comparisons  odds 

Aquí está mi contexto para esta pregunta: por lo que puedo decir, no podemos ejecutar una regresión de mínimos cuadrados ordinarios en R cuando usamos datos ponderados y el surveypaquete. Aquí, tenemos que usar svyglm(), que en su lugar ejecuta un modelo lineal generalizado (¿qué puede ser lo mismo? Estoy …

13 r  generalized-linear-model  least-squares  r-squared  deviance 

¿Está "bien" agregar una línea vertical a un histograma para visualizar el valor medio? Me parece bien, pero nunca he visto esto en los libros de texto y similares, así que me pregunto si hay algún tipo de convención para no hacerlo. El gráfico es para un trabajo a término, …

13 self-study  data-visualization  mean  histogram 

Según el artículo de Wikipedia sobre la distribución Gamma : Si e , donde e son variables aleatorias independientes, entonces .X∼Gamma(a,θ)X∼Gamma(a,θ)X\sim\mathrm{Gamma}(a,\theta)Y∼Gamma(b,θ)Y∼Gamma(b,θ)Y\sim\mathrm{Gamma}(b,\theta)XXXYYYX+Y∼Gamma(a+b,θ)X+Y∼Gamma(a+b,θ)X+Y\sim \mathrm{Gamma}(a+b, \theta) Pero no veo ninguna prueba. ¿Alguien puede señalarme su prueba por favor? Editar: Muchas gracias a Zen, y también encontré la respuesta como ejemplo en la página …

13 probability  pdf  gamma-distribution 

Soy muy nuevo en esta área y tengo dificultades para entender el concepto de rechazar la hipótesis nula basada en los resultados de la tabla ANOVA. ¿Cómo se relacionan la F calculada y el valor crítico con el valor p? Y si la F calculada es mayor que 1, ¿eso …

13 anova 

Al obtener muestras de MCMC para hacer inferencia sobre un parámetro en particular, ¿cuáles son buenas guías para la cantidad mínima de muestras efectivas a las que se debe apuntar? Y, ¿cambia este consejo a medida que el modelo se vuelve más o menos complejo?

13 bayesian  sample-size  mcmc  posterior 

Digamos que tengo un problema de selección de modelo y estoy tratando de usar AIC o BIC para evaluar los modelos. Esto es sencillo para los modelos que tienen algún número de parámetros con valores reales.kkk Sin embargo, ¿qué sucede si uno de nuestros modelos (por ejemplo, el modelo Mallows …

13 modeling  maximum-likelihood  aic  fitting  bic 

Mis predicciones provenientes de un modelo de regresión logística (glm en R) no están delimitadas entre 0 y 1 como esperaba. Comprendo la regresión logística es que los parámetros de entrada y modelo se combinan linealmente y la respuesta se transforma en una probabilidad utilizando la función de enlace logit. …

13 r  regression  logistic  generalized-linear-model 

Para comenzar, tengo una base matemática bastante profunda, pero nunca me he ocupado realmente de series de tiempo o modelos estadísticos. Así que no tienes que ser muy amable conmigo :) Estoy leyendo este documento sobre el modelado del uso de energía en edificios comerciales, y el autor hace esta …

13 time-series  autocorrelation 

Si construyo una matriz 2D compuesta completamente de datos aleatorios, esperaría que los componentes PCA y SVD esencialmente no explicaran nada. En cambio, parece que la primera columna SVD parece explicar el 75% de los datos. ¿Cómo puede ser esto posible? ¿Qué estoy haciendo mal? Aquí está la trama: Aquí …

13 r  pca  svd 

Aparentemente, El análisis de Fisher apunta a maximizar simultáneamente la separación entre clases, mientras se minimiza la dispersión dentro de clase. Una medida útil del poder de discriminación de una variable viene dada por la cantidad diagonal: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Entiendo que el tamaño ( p x p) de la …

13 algorithms  dimensionality-reduction  discriminant-analysis  sums-of-squares 

Nunca participé en un curso oficial o estructurado de análisis de datos o aprendizaje automático (aparte de las recientes ofertas en línea) y aprendí la mayor parte de lo que sé de leer y probar cosas. Sé que estoy lejos de poder conseguir un trabajo. Mi pregunta no es qué …

13 machine-learning  data-mining  careers 

Estoy buscando consejos y comentarios que aborden el análisis de ratios y tasas. En el campo en el que trabajo, el análisis de las relaciones en particular está muy extendido, pero he leído algunos documentos que sugieren que esto puede ser problemático, estoy pensando en: Kronmal, Richard A. 1993. Correlación …

13 modeling  multiple-regression  generalized-linear-model  interaction  confounding