Estadísticas y Big Data

Tengo datos de prueba donde tengo varias muestras grandes de distribuciones discretas que estoy usando como distribuciones empíricas. Quiero probar si las distribuciones son realmente diferentes y cuál es la diferencia de medias para aquellas distribuciones que son realmente diferentes. Como son distribuciones discretas, entiendo que la prueba de Kolmogorov-Smirnov …

14 chi-squared  kolmogorov-smirnov 

Como motivado por el cambio reciente de la estadística de selección de modelo por defecto en el paquete de pronóstico de R de AIC a AICc, tengo curiosidad por saber si este último es aplicable donde sea que esté el primero. Tengo una serie de preguntas al respecto y aquí …

14 model-selection  references  aic 

En Wikipedia , la correlación de rango de Spearman se calcula convirtiendo las variables e en variables clasificadas e , y luego calculando la correlación de Pearson entre las variables clasificadas:XiXiX_iYiYiY_ixixix_iyiyiy_i Sin embargo, el artículo continúa que si no hay vínculos entre las variables e , la fórmula anterior es …

14 correlation  proof  spearman-rho 

Desde la página de Wikipedia sobre intervalos de confianza : ... si se construyen intervalos de confianza en muchos análisis de datos separados de experimentos repetidos (y posiblemente diferentes), la proporción de tales intervalos que contienen el valor verdadero del parámetro coincidirá con el nivel de confianza ... Y de …

14 bayesian  confidence-interval 

Actualmente estoy revisando algunos trabajos y he encontrado lo siguiente, lo que me parece incorrecto. Se montan dos modelos mixtos (en R) con lmer. Los modelos no están anidados y se comparan mediante pruebas de razón de probabilidad. En resumen, aquí hay un ejemplo reproducible de lo que tengo: set.seed(105) …

14 r  lme4-nlme  likelihood-ratio  nested-models 

En una variación del problema del colector de cupones , no conoce el número de cupones y debe determinarlo en función de los datos. Me referiré a esto como el problema de las cookies de fortuna: Dado un número desconocido de mensajes distintos de cookies de fortuna nnn , calcule …

14 estimation  coupon-collector-problem 

Sé que esto podría ser un poco complicado, estadísticamente, pero este es mi problema. Tengo muchos datos de rango, es decir, el tamaño mínimo, máximo y de muestra de una variable. Para algunos de estos datos también tengo una media, pero no muchos. Quiero comparar estos rangos entre sí para …

14 r  normal-distribution  estimation  missing-data  order-statistics 

Estoy entrenando un modelo de clasificación con Random Forest para discriminar entre 6 categorías. Mis datos transaccionales tienen aproximadamente 60k + observaciones y 35 variables. Aquí hay un ejemplo de cómo se ve aproximadamente. _________________________________________________ |user_id|acquisition_date|x_var_1|x_var_2| y_vay | |-------|----------------|-------|-------|--------| |111 | 2013-04-01 | 12 | US | group1 | |222 …

14 r  machine-learning  classification  random-forest 

Estoy revisando por pares un artículo de revista académica y los autores escribieron lo siguiente como justificación para no informar ninguna estadística inferencial (identifiqué la naturaleza de los dos grupos): En total, 25 de los 2.349 (1,1%) encuestados informó X . Nos abstenemos de presentar análisis que comparen estadísticamente el …

14 hypothesis-testing  sample-size  power-analysis  power  group-differences 

Tengo una muestra de 100 puntos que son continuos y unidimensionales. Calculé su densidad no paramétrica utilizando métodos del núcleo. ¿Cómo puedo extraer muestras aleatorias de esta distribución estimada?

14 r  sampling  kernel-smoothing 

Los bosques aleatorios funcionan creando un conjunto de árboles de decisión donde cada árbol se crea utilizando una muestra de arranque de los datos de entrenamiento originales (muestra de variables de entrada y observaciones). ¿Se puede aplicar un proceso similar para la regresión lineal? Cree k modelos de regresión lineal …

14 regression  predictive-models  ensemble 

Estoy tratando de entender el resultado que veo en mi gráfico a continuación. Por lo general, tiendo a usar Excel y obtener una línea de regresión lineal, pero en el siguiente caso estoy usando R y obtengo una regresión polinómica con el comando: ggplot(visual1, aes(ISSUE_DATE,COUNTED)) + geom_point() + geom_smooth() Entonces …

14 r  regression  data-visualization  outliers 

Quiero desarrollar un modelo de predicción (Cox PH) para la mortalidad por todas las causas en un conjunto de datos de participantes de los cuales (casi) todos murieron al final del seguimiento (por ejemplo, 1 año). En lugar de predecir el riesgo absoluto de morir en un momento determinado, me …

14 survival  prediction  cox-model 

Hoy me preguntaron si un valor p de 0.05 (exactamente) se considera significativo (dado alfa = 5%) o no. No sabía la respuesta y Google mostró ambas respuestas: (a) el resultado es significativo si p es inferior al 5% y (b) si p es inferior al 5% o igual al …

14 hypothesis-testing  statistical-significance  p-value 

Me gustaría estimar la correlación entre: Una variable ordinal: se les pide a los sujetos que califiquen su preferencia por 6 tipos de fruta en una escala de 1 a 5 (desde muy desagradable hasta muy sabrosa). En promedio, los sujetos usan solo 3 puntos de la escala. Una variable …

14 correlation  ordinal-data  spearman-rho  continuous-data