Estadísticas y Big Data

¿Cómo puedo estimar los intervalos de confianza del 95% usando la creación de perfiles para los parámetros estimados maximizando una función de log-verosimilitud usando optim en R? Sé que puedo estimar asintóticamente la matriz de covarianza invirtiendo el hessian , pero me preocupa que mis datos no cumplan con los …

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

Estoy trabajando en una tarea de Planificación de capacidad y he leído algunos libros. Esto es específicamente sobre distribuciones. Yo uso R. ¿Cuál es el enfoque recomendado para identificar cuál es mi distribución de datos? ¿Existen métodos estadísticos para identificarlo? Tengo este diagrama ¿Cuáles son los enfoques de simulación disponibles …

9 distributions  simulation 

Estaba leyendo este artículo de Wikipedia relacionado con kriging. No entendí la parte cuando dice que Kriging calcula el mejor estimador insesgado , de Z ( x 0 ) de tal manera que Kriging varianza de se reduce al mínimo con la condición insesgamiento. No obtuve la derivación y también …

9 interpolation 

Supongamos que está distribuido exponencialmente no central con la ubicación y la tasa . Entonces, qué es .k λ E ( log ( X ) )XXXkkkλλ\lambdami( registro( X) )E(log⁡(X))E(\log(X)) Sé que para , la respuesta es donde es la constante de Euler-Mascheroni. ¿Qué pasa cuando ?- log ( λ ) …

9 mean  expected-value  integral 

Supongamos que prueba la correlación de Pearson entre la variable y y en los grupos A y B . ¿Es posible que la correlación ( x , y ) sea ​​significativa en cada uno de A y B , pero no significativa cuando se combinan los datos de ambos grupos? …

9 correlation 

¿Hay alguna manera de ajustar una distribución específica si solo se le dan unos cuantos cuantiles? Por ejemplo, si te dijera que tengo un conjunto distribuido gamma de datos, y la empírica 20%, 30%, 50% y 90% -quantiles son, respectivamente: 20% 30% 50% 90% 0.3936833 0.4890963 0.6751703 1.3404074 ¿Cómo iría …

9 distributions  quantiles  fitting 

Suponiendo que tengo un conjunto de datos con dimensiones (por ejemplo, ) de modo que cada dimensión es iid (alternativamente, cada dimensión ) e independiente de El uno al otro.dddd=20d=20d=20Xi∼U[0;1]Xi∼U[0;1]X_i \sim U[0;1]Xi∼N[0;1]Xi∼N[0;1]X_i \sim \mathcal N[0;1] Ahora dibujo un objeto aleatorio de este conjunto de datos y tomo el vecinos más …

9 normal-distribution  uniform  eigenvalues 

¿Cómo puedo comprobar si la media (p. Ej., La presión arterial) de un subgrupo (p. Ej., Los que murieron) difiere de todo el grupo (p. Ej., Todos los que tuvieron la enfermedad, incluidos los que murieron)? Claramente, el primero es un subgrupo del segundo. ¿Qué prueba de hipótesis debo usar?

9 hypothesis-testing  group-differences 

Esto debe aparecer --- el pronóstico de cosas que están atrapadas entre 0 y 1. En mi serie, sospecho que hay un componente de regresión automática y también un componente de reversión a la media, por lo que quiero algo que pueda interpretar como un ARIMA --- pero no quiero …

9 time-series  forecasting  logistic  arima  beta-regression 

Soy relativamente nuevo en estadísticas y entiendo que mi pregunta puede estar completamente equivocada. Estoy probando mi propio algoritmo versus otro. Si bien los resultados no son idénticos, quiero mostrar que las diferencias son "estadísticamente insignificantes". ¿Cómo puedo cuantificar esto, para hacer mi punto?

9 correlation  statistical-significance  dataset 

Los siguientes injertos se toman de este artículo . Soy novato en bootstrap e intento implementar el bootstrapping paramétrico, semiparamétrico y no paramétrico para el modelo mixto lineal con R bootpaquete. Código R Aquí está mi Rcódigo: library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

Supongamos que se nos da un conjunto de datos de la forma y . Se nos da la tarea de predecir función de los valores de . Estimamos dos regresiones donde: ( y, x1, x2, ⋯ , xnorte)(y,X1,X2,⋯,Xnorte)(y,x_{1},x_{2},\cdots, x_{n})y x y( y, x1, x2, ⋯ , xn - 1)(y,X1,X2,⋯,Xnorte-1)(y,x_{1},x_{2},\cdots, x_{n-1})yyyXXxyy= …

9 regression  multiple-regression  missing-data  multicollinearity  multiple-imputation 

Esta pregunta ya tiene una respuesta aquí : correlación entre variables categóricas (1 respuesta) Cerrado hace 5 meses . Sé que podemos usar Spearman rho para medir la correlación entre variables numéricas. Pero, ¿cómo medir la correlación entre variables categóricas?

9 correlation  categorical-data 

Estoy usando el paquete randomForest en R (R versión 2.13.1, randomForest versión 4.6-2) para la regresión y noté un sesgo significativo en mis resultados: el error de predicción depende del valor de la variable de respuesta. Los valores altos se predicen por debajo y los valores bajos se predicen en …

9 r  regression  random-forest 

Digamos que tengo un problema simple de aprendizaje automático como una clasificación. Con algunos puntos de referencia en visión o reconocimiento de audio, yo, como humano, soy un muy buen clasificador. Por lo tanto, tengo una intuición sobre qué tan bueno puede ser un clasificador. Pero con muchos datos, un …

9 machine-learning