Estadísticas y Big Data

Tengo una función que devuelve un tiempo de espera promedio para un usuario web. Es decir, proporciona un tiempo promedio que un usuario promedio puede permanecer en una página web, dada la longitud del recurso web en palabras. Quiero usar esta función (y el promedio resultante) junto con una distribución …

9 distributions 

Estoy buscando el algoritmo de regresión lineal que sea más adecuado para datos cuya variable independiente (x) tiene un error de medición constante y la variable dependiente (y) tiene un error dependiente de la señal. La imagen de arriba ilustra mi pregunta.

9 regression  linear-model  measurement-error  measurement 

Quiero incluir el término su cuadrado (variables predictoras) en una regresión porque supongo que los valores bajos de tienen un efecto positivo en la variable dependiente y los valores altos tienen un efecto negativo. La debería capturar el efecto de los valores más altos. Por lo tanto, espero que el …

9 regression  multiple-regression  polynomial  centering 

Por defecto, cuando usamos una glmfunción en R, usa el método de mínimos cuadrados reponderados iterativamente (IWLS) para encontrar la estimación de máxima verosimilitud de los parámetros. Ahora tengo dos preguntas. ¿Las estimaciones de IWLS garantizan el máximo global de la función de probabilidad? Basado en la última diapositiva de …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Tengo estos datos: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Corrí una regresión de Poisson poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") Y una regresión binomial negativa: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Luego calculé las estadísticas …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Revisé un documento basado en la solicitud que decía que aplicar PCA antes de aplicar ICA (usando el paquete fastICA). Mi pregunta es, ¿ICA (fastICA) requiere que PCA se ejecute primero? Este artículo menciona que ... también se argumenta que la aplicación previa de PCA mejora el rendimiento de ICA …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Tengo una duda: considere las variables aleatorias de valor real XXX y ZZZ ambas definidas en el espacio de probabilidad ( Ω , F, P )(Ω,F,P)(\Omega, \mathcal{F},\mathbb{P}) . Sea Y: = g( X, Z)Y:=g(X,Z)Y:= g(X,Z) , donde sol( ⋅ )g(⋅)g(\cdot) es una función de valor real. Como YYY es una …

9 probability  random-variable 

Este es un problema de práctica para un examen de mitad de período. El problema es un ejemplo de algoritmo EM. Tengo problemas con la parte (f). Enumero las partes (a) - (e) para completar y en caso de que haya cometido un error antes. Supongamos que son variables aleatorias …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Supongamos que tengo un conjunto de datos de puntos 2D y quiero detectar las direcciones de todos los máximos locales de varianza en los datos, por ejemplo: PCA no ayuda en esta situación, ya que es una descomposición ortogonal y, por lo tanto, no puede detectar ambas líneas que indiqué …

9 pca  dimensionality-reduction 

Estoy mirando el tiempo requerido por los jueces para tomar decisiones. Cada juez evalúa a varios solicitantes y puede aprobar o no la solicitud. El caso se finaliza cuando el juez rinde su informe, que puede ser algún tiempo después de la audiencia. Varios casos todavía estaban abiertos al final …

9 survival 

Cuando (es decir, Y proviene del modelo de regresión lineal), ε ∼ N ( 0 , σ 2 I )Y= A X+ εY=AX+εY = AX + \varepsilonYYY Y en ese caso los residuos e 1 , ... , e n están correlacionados y no independientes. Pero cuando hacemos diagnósticos de …

9 regression  residuals  non-independent 

Estoy buscando predecir grupos de artículos que alguien comprará ... es decir, tengo múltiples variables dependientes colineales. En lugar de construir 7 modelos independientes para predecir la probabilidad de que alguien compre cada uno de los 7 artículos, y luego combinar los resultados, ¿qué métodos debo considerar para tener un …

9 r  machine-learning  multivariate-analysis 

Estoy trabajando en un modelo de costo predictivo donde la edad del paciente (una cantidad entera medida en años) es una de las variables predictoras. Es evidente una fuerte relación no lineal entre la edad y el riesgo de hospitalización: Estoy considerando una spline de suavizado de regresión penalizada para …

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

He estado tratando de repasar mi conocimiento de estadísticas, especialmente en relación con la determinación del tamaño de la muestra y el análisis estadístico de poder. Pero parece que cuanto más leo, más necesito leer. De todos modos, encontré una herramienta llamada G * Power que parece hacer todo lo …

9 power-analysis  power  non-central 

Me refiero a cualquier razón aparte de la conveniencia de poder completar el análisis dentro de un solo procedimiento.

9 anova