Estadísticas y Big Data

Estoy tratando de entender la notación matricial y trabajando con vectores y matrices. En este momento me gustaría entender cómo se calcula el vector de estimaciones de coeficientes en regresión múltiple.β^β^\hat{\beta} La ecuación básica parece ser ddβ(y−Xβ)′(y−Xβ)=0.ddβ(y−Xβ)′(y−Xβ)=0. \frac{d}{d\boldsymbol{\beta}} (\boldsymbol{y}-\boldsymbol{X\beta})'(\boldsymbol{y}-\boldsymbol{X\beta}) = 0 \>. Ahora, ¿cómo resolvería un vector ββ\beta aquí? Editar …

9 regression 

Mi conjunto de datos está compuesto por la mortalidad total o la supervivencia de un organismo en tres tipos de sitios, costero, medio canal y en alta mar. Los números en la tabla a continuación representan el número de sitios. 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 …

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

Escribí un script que prueba los datos usando el wilcox.test, pero cuando obtuve los resultados, todos los valores p fueron iguales a 1. Leí en algunos sitios web que podría usar jitter antes de probar los datos (para evitar vínculos como decían), Hice esto y ahora tengo un resultado aceptable. …

9 r  nonparametric  ties 

Tengo dos modelos de regresión logística en R hechos con glm(). Ambos usan las mismas variables, pero se hicieron usando diferentes subconjuntos de una matriz. ¿Hay una manera fácil de obtener un modelo promedio que proporcione las medias de los coeficientes y luego usar esto con la función predic ()? …

9 r  generalized-linear-model 

Considere un experimento con múltiples participantes humanos, cada uno medido varias veces en dos condiciones. Se puede formular un modelo de efectos mixtos (usando la sintaxis lme4 ) como: fit = lmer( formula = measure ~ (1|participant) + condition ) Ahora, digamos que quiero generar intervalos de confianza de arranque …

9 mixed-model  bootstrap 

Quiero ejecutar correlaciones en una serie de mediciones donde se usaron escalas Likert. Al observar los diagramas de dispersión, parece que los supuestos de linealidad y homocedasticidad pueden haber sido violados. Dado que parece haber cierto debate sobre la calificación del nivel ordinal que se aproxima a la escala del …

9 correlation  scales  heteroscedasticity  likert 

Quiero realizar un análisis de conteo cuadrático en varios procesos de puntos (o un proceso de puntos marcados), para luego aplicar algunas técnicas de reducción de dimensionalidad. Las marcas no están distribuidas de manera idéntica, es decir, algunas marcas aparecen con bastante frecuencia y otras son bastante raras. Por lo …

9 multivariate-analysis  normalization  ecology  point-process 

¿Cómo calcular la cobertura de intervalo discreto? Lo que sé hacer: Si tuviera un modelo continuo, podría definir un intervalo de confianza del 95% para cada uno de mis valores predichos, y luego ver con qué frecuencia los valores reales estaban dentro del intervalo de confianza. Podría encontrar que solo …

9 confidence-interval  discrete-data 

Estoy buscando una referencia sólida (o referencias) sobre técnicas de optimización numérica destinadas a los estadísticos, es decir, aplicaría estos métodos a algunos problemas de inferencia estándar (por ejemplo, MAP / MLE en modelos comunes). Cosas como el descenso de gradiente (recto y estocástico), EM y sus derivaciones / generalizaciones, …

9 estimation  references  optimization 

¿Es posible utilizar el análisis de componentes principales del núcleo (kPCA) para la indexación semántica latente (LSI) de la misma manera que se utiliza PCA? Realizo LSI en R usando la prcompfunción PCA y extraigo las características con las cargas más altas de los primeros componentes. Por eso obtengo las …

9 r  pca  feature-selection  kernel-trick 

Tengo un conjunto de datos de eventos que ocurrieron durante el mismo período de tiempo. Cada evento tiene un tipo (hay pocos tipos diferentes, menos de diez) y una ubicación, representada como un punto 2D. Me gustaría verificar si existe alguna correlación entre los tipos de eventos, o entre el …

9 correlation  pca  multivariate-analysis  point-process 

Estamos creando un gráfico que muestra el tráfico por hora del día durante un período determinado. Entonces, el eje y es tráfico, el eje x es medianoche, 1 a.m., 2 a.m., etc. También podría ser días de la semana. ¿Cuál es el nombre genérico para este tipo de gráfico? Se …

9 time-series  data-visualization 

Estoy usando un tutorial que encontré y trazando valores medios junto con los errores estándar para mostrar mis datos. Pero tengo un problema para discutir los resultados. Mi diagrama es como se muestra a continuación: algunos de los errores estándar (mostrados como una barra de error) varían mucho y algunos …

9 data-visualization  standard-error 

En Rpuedo realizar una prueba de Breusch-Pagan para la heterocedasticidad utilizando la ncvTestfunción del carpaquete. Una prueba de Breusch-Pagan es un tipo de prueba de ji cuadrado. ¿Cómo interpreto estos resultados? > require(car) > set.seed(100) > x1 = runif(100, -1, 1) > x2 = runif(100, -1, 1) > ncvTest(lm(x1 ~ …

9 interpretation  heteroscedasticity 

En un artículo que estaba leyendo recientemente me encontré con el siguiente bit en su sección de análisis de datos: La tabla de datos se dividió en tejidos y líneas celulares, y las dos subtablas se pulieron medianamente por separado (las filas y columnas se ajustaron iterativamente para tener una …

9 feature-selection  median  genetics