Estadísticas y Big Data

Tengo un conjunto de datos mensuales de temperatura de la superficie del mar (SST) y quiero aplicar alguna metodología de clúster para detectar regiones con patrones de SST similares. Tengo un conjunto de archivos de datos mensuales que se ejecutan desde 1985 hasta 2009 y quiero aplicar el agrupamiento a …

12 r  clustering  spatial 

Si un artículo sigue la distribución normal, el promedio también sigue la distribución normal. ¿Qué pasa con el mínimo y el máximo?

12 normal-distribution  order-statistics 

Actualmente estoy usando el análisis de componentes principales para seleccionar variables para usar en el modelado. Por el momento, hago mediciones A, B y C en mis experimentos. Lo que realmente quiero saber es: ¿puedo hacer menos mediciones y dejar de registrar C y / o B para ahorrar tiempo …

12 regression  pca  model-selection 

De Econometrics , por Fumio Hayashi (Chpt 1): Homocedasticidad incondicional: El segundo momento de los términos de error E (εᵢ²) es constante a través de las observaciones La forma funcional E (εᵢ² | xi) es constante a través de las observaciones Homocedasticidad condicional: Se levanta la restricción de que el …

12 regression  econometrics  heteroscedasticity  assumptions 

Antecedentes Estoy diseñando una simulación de Monte Carlo que combina las salidas de series de modelos, y quiero estar seguro de que la simulación me permitirá hacer afirmaciones razonables sobre la probabilidad del resultado simulado y la precisión de esa estimación de probabilidad. La simulación determinará la probabilidad de que …

12 confidence-interval  monte-carlo  standard-error  simulation 

Digamos que es una función lineal de xy un dummy d . Mi hipótesis es que d en sí es como un índice hedonista de un vector de otras variables, Z . Tengo soporte para esto en un M A N O V A de Z (es decir, z 1 …

12 r  hypothesis-testing  regression  model-selection 

Tengo un problema para calcular el coeficiente de correlación de Pearson de los conjuntos de datos con una desviación estándar posiblemente cero (es decir, todos los datos tienen el mismo valor). Supongamos que tengo los siguientes dos conjuntos de datos: float x[] = {2, 2, 2, 3, 2}; float y[] …

12 correlation 

El punto central de AIC o cualquier otro criterio de información es que menos es mejor. Entonces, si tengo dos modelos M1: y = a0 + XA + e y M2: y = b0 + ZB + u, y si el AIC del primero (A1) es menor que el del …

12 regression  aic 

Contexto: Soy estudiante de doctorado en psicología. Al igual que con muchos estudiantes de doctorado en psicología, sé cómo realizar diversos análisis estadísticos utilizando software estadístico, hasta técnicas como PCA, árboles de clasificación y análisis de conglomerados. Pero no es realmente satisfactorio porque, aunque puedo explicar por qué hice un …

12 references  notation  software 

Tengo una tabla de contingencia de tres niveles, con datos de conteo para varias especies, la planta huésped de la cual fueron recolectadas y si esa recolección ocurrió en un día lluvioso (¡esto realmente importa!). Usando R, los datos falsos podrían ser algo como esto: count <- rpois(8, 10) species …

12 r  categorical-data  log-linear 

Tengo una pregunta sobre los métodos secuenciales grupales . De acuerdo con Wikipedia: En un ensayo aleatorizado con dos grupos de tratamiento, las pruebas secuenciales de grupo clásico se usan de la siguiente manera: si hay n sujetos en cada grupo disponibles, se realiza un análisis intermedio de los 2n …

12 multiple-comparisons  clinical-trials  type-i-and-ii-errors 

Tengo un problema de muestreo simple, donde mi bucle interno se ve así: v = sample_gamma(k, a) donde sample_gammamuestras de la distribución Gamma para formar una muestra de Dirichlet. Funciona bien, pero para algunos valores de k / a, algunos de los flujos de cálculo aguas abajo. Lo adapté para …

12 sampling  gamma-distribution 

Estoy diseñando un algoritmo de muestreo Monte Carlo híbrido para PyMC , y estoy tratando de hacerlo lo más sencillo y general posible, así que estoy buscando buenos consejos para diseñar un algoritmo HMC. He leído el capítulo de la encuesta de Radford y Beskos et. El documento reciente de …

12 bayesian  monte-carlo 

Me gustaría plantear esta pregunta en dos partes. Ambos tratan con un modelo lineal generalizado, pero el primero trata con la selección del modelo y el otro con la regularización. Antecedentes: Utilizo modelos GLM (lineal, logística, regresión gamma) tanto para la predicción como para la descripción. Cuando me refiero a …

12 regression  model-selection  regularization 

¿Me puede recomendar un paquete de minería de texto en R que pueda usarse en grandes volúmenes de datos? En segundo lugar, ¿hay una GUI disponible para alguno de los paquetes de minería de texto en R? En tercer lugar, ¿hay otro programa de minería de texto de código abierto …

12 r  text-mining