Estadísticas y Big Data

En el filtrado colaborativo, tenemos valores que no se completan. Supongamos que un usuario no vio una película, entonces tenemos que poner una 'na' allí. Si voy a tomar un SVD de esta matriz, entonces tengo que poner algún número allí, digamos 0. Ahora, si factorizo ​​la matriz, tengo un …

21 machine-learning  svd  recommender-system 

Recientemente me embarqué en ajustar modelos mixtos de regresión en el marco bayesiano, utilizando un algoritmo MCMC (función MCMCglmm en R en realidad). Creo que he entendido cómo diagnosticar la convergencia del proceso de estimación (traza, diagrama de Geweke, autocorrelación, distribución posterior ...). Una de las cosas que me llama …

21 r  bayesian  mixed-model  mcmc  residuals 

Tengo varias observaciones multivariadas y me gustaría evaluar la densidad de probabilidad en todas las variables. Se supone que los datos se distribuyen normalmente. Con un número bajo de variables, todo funciona como cabría esperar, pero pasar a números mayores da como resultado que la matriz de covarianza se vuelva …

21 normal-distribution  multivariate-analysis  covariance 

Me preguntaba si alguien podría dar un resumen conciso de las definiciones y usos de los valores p, el nivel de significación y el error tipo I. Entiendo que los valores p se definen como "la probabilidad de obtener un estadístico de prueba al menos tan extremo como el que …

21 hypothesis-testing  probability  statistical-significance  p-value  error 

El siguiente extracto es de Schwager's Hedge Fund Market Wizzards (mayo de 2012), una entrevista con el exitoso administrador de fondos de cobertura Jaffray Woodriff: A la pregunta: "¿Cuáles son algunos de los peores errores que cometen las personas en la minería de datos?": Muchas personas piensan que están bien …

21 data-mining  curve-fitting  out-of-sample 

A menudo me encuentro entrenando varios modelos predictivos diferentes usando careten R. Los entrenaré a todos en los mismos pliegues de validación cruzada, usando caret::: createFolds, luego elegiré el mejor modelo basado en un error de validación cruzada. Sin embargo, la predicción mediana de varios modelos a menudo supera al …

21 r  caret  ensemble 

Me he encontrado con un escenario en el que tengo 10 señales / persona para 10 personas (es decir, 100 muestras) que contienen 14000 puntos de datos (dimensiones) que necesito pasar a un clasificador. Me gustaría reducir la dimensionalidad de estos datos y PCA parece ser la forma de hacerlo. …

21 pca  dimensionality-reduction  svd 

\newcommand{\P}{\mathbb{P}} Supongamos que tenemos variables aleatorias independientes X_1 , \ ldots , X_n con medios finitos \ mu_1 \ leq \ ldots \ leq \ mu_N y varianzas \ sigma_1 ^ 2 , \ ldots , \ sigma_N ^ 2 . Estoy buscando límites sin distribución en la probabilidad de …

21 probability  bounds  maximum 

Estoy investigando un poco, pero me he quedado estancado en la etapa de análisis (debería haber prestado más atención a mis conferencias de estadísticas). He recogido dos señales simultáneas: caudal integrado para el volumen y cambio en la expansión del cofre. Me gustaría comparar las señales y, en última instancia, …

21 r  time-series  signal-processing  measurement 

Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 7 años . Ahora mismo estoy aprendiendo sobre el análisis de regresión y el análisis de varianza. En el análisis de regresión, tiene una variable fija y desea saber cómo va la variable …

21 regression 

Me pregunto cuál es la relación exacta entre parcial y los coeficientes en un modelo lineal y si debería usar solo uno o ambos para ilustrar la importancia y la influencia de los factores.R2R2R^2 Hasta donde sé, con las summaryestimaciones de los coeficientes y con anovala suma de los cuadrados …

21 r  regression  multiple-regression  regression-coefficients  r-squared 

Suponga que está analizando un gran conjunto de datos con miles de millones de observaciones por día, donde cada observación tiene un par de miles de variables numéricas y categoriales dispersas y posiblemente redundantes. Digamos que hay un problema de regresión, un problema de clasificación binaria desequilibrada y una tarea …

21 r  machine-learning  data-mining  large-data 

Me preguntaba si alguien tenía alguna idea o intuición detrás de la diferencia entre la variación de información y el índice Rand para comparar agrupaciones. He leído el documento " Comparación de agrupamientos: una distancia basada en la información " de Marina Melia (Journal of Multivariate Analysis, 2007), pero, aparte …

21 machine-learning  clustering  metric 

En su libro de texto, Modelos gráficos, familias exponenciales e inferencia variacional , M. Jordan y M. Wainwright discuten la conexión entre las familias exponenciales y los campos aleatorios de Markov (modelos gráficos no dirigidos). Estoy tratando de entender mejor la relación entre ellos con las siguientes preguntas: ¿Todos los …

21 mathematical-statistics  graphical-model 

¿Es posible que dos variables aleatorias tengan la misma distribución y, sin embargo, casi seguramente sean diferentes?

21 distributions  probability