Estadísticas y Big Data

Hubiera esperado que el coeficiente de correlación fuera el mismo que una pendiente de regresión (beta), sin embargo, al comparar los dos, son diferentes. ¿Cómo difieren? ¿Qué información diferente dan?

69 regression  correlation 

He notado que el intervalo de confianza para los valores pronosticados en una regresión lineal tiende a ser estrecho alrededor de la media del predictor y engordar alrededor de los valores mínimos y máximos del predictor. Esto se puede ver en las gráficas de estas 4 regresiones lineales: Inicialmente pensé …

69 regression  confidence-interval  linear-model  standard-error  prediction-interval 

¿En qué casos uno debería preferir el uno sobre el otro? Encontré a alguien que reclama una ventaja para Kendall, por razones pedagógicas , ¿hay otras razones?

69 correlation  nonparametric  spearman-rho  kendall-tau 

¿Cuáles son algunos de los valiosos proyectos de código abierto de Análisis estadístico disponibles en este momento? Editar: como señaló Sharpie, valioso podría significar ayudarlo a hacer las cosas más rápido o más barato.

69 software  open-source 

Tengo una clase de datos desequilibrados y quiero ajustar los hiperparámetros del trenzado reforzado usando xgboost. Preguntas ¿Hay un equivalente de gridsearchcv o randomsearchcv para xgboost? Si no, ¿cuál es el enfoque recomendado para ajustar los parámetros de xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

¿Qué quieren decir cuando dicen "variable aleatoria"?

69 mathematical-statistics  random-variable  intuition  definition 

Acabo de escuchar que es una buena idea elegir los pesos iniciales de una red neuronal del rango , donde es el cantidad de entradas a una neurona dada. Se supone que los conjuntos están normalizados: media 0, varianza 1 (no sé si esto importa).d( - 1re√, 1re√)(−1d,1d)(\frac{-1}{\sqrt d} , …

68 neural-networks  normalization 

En realidad estoy revisando un manuscrito donde los autores comparan modelos de regresión de 5-6 logit con AIC. Sin embargo, algunos de los modelos tienen términos de interacción sin incluir los términos covariables individuales. ¿Tiene sentido hacer esto? Por ejemplo (no específico para los modelos logit): M1: Y = X1 …

68 regression  modeling  interaction  aic 

Tengo un promedio mensual para un valor y una desviación estándar correspondiente a ese promedio. Ahora estoy calculando el promedio anual como la suma de los promedios mensuales, ¿cómo puedo representar la desviación estándar para el promedio sumado? Por ejemplo, considerando la producción de un parque eólico: Month MWh StdDev …

68 standard-deviation  descriptive-statistics 

Recuerdo estar sentado en cursos de estadísticas como una audiencia de pregrado sobre por qué la extrapolación era una mala idea. Además, hay una variedad de fuentes en línea que comentan sobre esto. También hay una mención de esto aquí . ¿Alguien puede ayudarme a entender por qué la extrapolación …

68 regression  time-series  forecasting 

Tengo 2 variables dependientes (DV), cada una de cuyas puntuaciones puede estar influenciada por el conjunto de 7 variables independientes (IV). Los DV son continuos, mientras que el conjunto de IV consiste en una mezcla de variables codificadas continuas y binarias. (En el siguiente código, las variables continuas se escriben …

68 r  multivariate-analysis  manova  multiple-regression  multivariate-regression 

Me pregunto cómo generar puntos uniformemente distribuidos en la superficie de la esfera de la unidad tridimensional. Además, después de generar esos puntos, ¿cuál es la mejor manera de visualizar y verificar si son realmente uniformes en la superficie ?x2+y2+z2=1x2+y2+z2=1x^2+y^2+z^2=1

68 random-generation 

Esta pregunta se hizo en CV hace algunos años, parece que vale la pena volver a publicar a la luz de 1) orden de magnitud mejor tecnología informática (por ejemplo, computación paralela, HPC, etc.) y 2) técnicas más nuevas, por ejemplo [3]. Primero, un poco de contexto. Supongamos que el …

68 machine-learning  modeling  feature-selection  model-selection  prediction 

Ediciones: He agregado un ejemplo simple: inferencia de la media de la XyoXyoX_i . También he aclarado ligeramente por qué los intervalos creíbles que no coinciden con los intervalos de confianza son malos. Yo, un bayesiano bastante devoto, estoy en medio de una especie de crisis de fe. Mi problema …

68 bayesian  modeling  philosophical  misspecification 

Vi este artículo en The Economist sobre un artículo aparentemente devastador [1] que arroja dudas sobre "algo así como 40,000 estudios publicados [fMRI]". El error, dicen, se debe a "supuestos estadísticos erróneos". Leí el documento y veo que en parte es un problema con múltiples correcciones de comparación, pero no …

67 hypothesis-testing  multiple-comparisons  spatial  neuroimaging  neuroscience