Estadísticas y Big Data

Estoy a punto de sumergirme en el aprendizaje de R y mi proyecto de aprendizaje implicará aplicar una regresión de efectos mixtos o aleatorios a un conjunto de datos para desarrollar una ecuación predictiva. Comparto la preocupación del escritor en esta publicación ¿Cómo elegir la biblioteca nlme o lme4 R …

14 r  regression  random-effects-model 

Estaba jugando con los métodos PCA y LDA y estoy atascado en un punto, tengo la sensación de que es tan simple que no puedo verlo. Las matrices de dispersión dentro de clase ( SWSWS_W ) y entre clases ( SBSBS_B ) se definen como: SW=∑i=1C∑t=1N(xit−μi)(xit−μi)TSW=∑i=1C∑t=1N(xti−μi)(xti−μi)T S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - …

14 discriminant-analysis 

Hay un servicio web donde puedo solicitar información sobre un artículo aleatorio. Por cada solicitud, cada artículo tiene la misma probabilidad de ser devuelto. Puedo seguir solicitando artículos y registrar el número de duplicados y únicos. ¿Cómo puedo usar estos datos para estimar el número total de artículos?

14 probability  population  coupon-collector-problem 

Como título, ¿hay algo como esto? Sé cómo calcular CI para la media aritmética, pero ¿qué tal la media geométrica? Gracias.

14 confidence-interval  mean 

Se puede usar una base de datos de (población, área, forma) para mapear la densidad de población asignando un valor constante de población / área a cada forma (que es un polígono como un bloque del Censo, tramo, condado, estado, lo que sea). Sin embargo, las poblaciones generalmente no están …

14 modeling  unbiased-estimator  spatial 

Leyendo sobre métodos y resultados de análisis estadísticos, especialmente en epidemiología, muy a menudo escucho acerca del ajuste o control de los modelos. ¿Cómo explicaría, a un no estadístico, el propósito de eso? ¿Cómo interpretas tus resultados después de controlar ciertas variables? Un pequeño recorrido en Stata o R, o …

14 regression  modeling  epidemiology 

Necesito ayuda sobre la medición repetida ANOVA. Estamos investigando el efecto de alguna intervención en la reducción de la tasa de infección del torrente sanguíneo (BSI) en algunas salas. Planeamos capturar la información de la tasa de BSI mensualmente, primero 12 meses sin intervención, luego 12 meses con intervención. Estamos …

14 anova  repeated-measures  sample-size  power 

¿Por qué buscamos minimizar en x^2lugar de minimizar |x|^1.95o |x|^2.05? ¿Hay razones por las cuales el número debe ser exactamente dos o es simplemente una convención que tiene la ventaja de simplificar las matemáticas?

14 standard-deviation  least-squares 

La entropía de una distribución continua con función de densidad Fff se define como la negativa de la expectativa de Iniciar sesión( f) ,log⁡(f),\log(f), y por lo tanto es igual a HF= - ∫∞- ∞Iniciar sesión( f( x ) ) f( x ) d x .Hf=−∫−∞∞log⁡(f(x))f(x)dx.H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x. …

14 distributions  data-transformation  entropy 

Esta pregunta está inspirada en un mini-juego de Pokemon Soulsilver: Imagine que hay 15 bombas ocultas en esta área de 5x6 (EDITAR: máximo 1 bomba / celda): Ahora, ¿cómo calcularía la probabilidad de encontrar una bomba en un campo específico, dados los totales de fila / columna? Si observa la …

14 probability  estimation  chi-squared  independence  games 

Tengo un conjunto de datos que contiene, digamos, algunas mediciones de posición, velocidad y aceleración. Todos provienen de la misma "carrera". Podría construir un sistema lineal y ajustar un polinomio a todas esas medidas. ¿Pero puedo hacer lo mismo con splines? ¿Cuál es una forma 'R' de hacer esto? Aquí …

14 r  model  fitting  splines  derivative 

Un bosque aleatorio es una colección de árboles de decisión que siguen el concepto de ensacado. Cuando pasamos de un árbol de decisión al siguiente árbol de decisión, entonces, ¿cómo avanza la información aprendida por el último árbol de decisión al siguiente? Porque, según tengo entendido, no hay nada como …

14 machine-learning  random-forest  cart  bagging 

¿Hay disponible una interpretación bayesiana de REML? Para mi intuición, REML tiene una gran similitud con los llamados procedimientos empíricos de estimación de Bayes , y me pregunto si se ha demostrado algún tipo de equivalencia asintótica (por ejemplo, bajo una clase adecuada de antecedentes). Tanto Bayes empíricos como REML …

14 bayesian  asymptotics  reml 

Tengo un conjunto de prueba de 100 casos y dos clasificadores. Generé predicciones y calculé ROC AUC, sensibilidad y especificidad para ambos clasificadores. Pregunta 1: ¿Cómo puedo calcular el valor p para verificar si uno es significativamente mejor que el otro con respecto a todos los puntajes (ROC AUC, sensibilidad, …

14 machine-learning  statistical-significance  roc  auc  sensitivity-specificity 

Estoy revisando un documento que usa la desigualdad del oráculo para probar algo, pero no puedo entender lo que está tratando de hacer. Cuando busqué en línea sobre 'Oracle Inequality', algunas fuentes me dirigieron al artículo "Candes, Emmanuel J. 'Estimación estadística moderna a través de las desigualdades del oráculo'. "que …

14 mathematical-statistics  estimation  probability-inequalities  inequality  oracle