Estadísticas y Big Data

Si se ajusta a un modelo lineal o un modelo mixto, hay diferentes tipos de codificaciones disponibles para transformar una variable categórica o nominal en una serie de variables para las que se estiman los parámetros, como la codificación ficticia (el valor predeterminado de R) y la codificación de efectos. …

14 regression  mixed-model  categorical-data  contrasts  categorical-encoding 

Inspirado por esta pregunta , me pregunto si se ha realizado algún trabajo sobre modelos de temas para grandes colecciones de textos extremadamente cortos. Mi intuición es que Twitter debería ser una inspiración natural para tales modelos. Sin embargo, a partir de una experimentación limitada, parece que los modelos de …

14 references  text-mining  topic-models  natural-language 

Estoy usando spotfire (S ++) para el análisis estadístico en mi proyecto y tengo que ejecutar una regresión logística multinomial para un gran conjunto de datos. Sé que el mejor algoritmo habría sido mlogit, pero desafortunadamente eso no está disponible en s ++. Sin embargo, tengo la opción de usar …

14 generalized-linear-model  logistic 

Soy un estudiante graduado en ciencias de la computación. He estado haciendo un análisis factorial exploratorio para un proyecto de investigación. Mis colegas (que lideran el proyecto) usan SPSS, mientras que yo prefiero usar R. Esto no importó hasta que descubrimos una gran discrepancia entre los dos paquetes estadísticos. Estamos …

14 r  spss  factor-analysis 

¿Cuáles son algunos enfoques para clasificar datos con un número variable de características? Como ejemplo, considere un problema donde cada punto de datos es un vector de puntos xey, y no tenemos el mismo número de puntos para cada instancia. ¿Podemos tratar cada par de puntos x e y como …

14 machine-learning  missing-data 

Un sistema de recomendación mediría la correlación entre las calificaciones de diferentes usuarios y generaría recomendaciones para un usuario determinado sobre los elementos que pueden ser de su interés. Sin embargo, los gustos cambian con el tiempo, por lo que las clasificaciones anteriores podrían no reflejar las preferencias actuales y …

14 recommender-system 

Quiero ejecutar una regresión logística binaria para modelar la presencia o ausencia de conflicto (variable dependiente) a partir de un conjunto de variables independientes durante un período de 10 años (1997-2006), y cada año tiene 107 observaciones. Mis independientes son: degradación de la tierra (categórica para 2 tipos de degradación); …

14 regression  time-series  logistic  spatial  ecology 

La semana que viene tenemos un interno de una escuela local en la casa. El concepto detrás de su breve pasantía es tener una idea de cómo funciona el mundo real y de qué se ocupan ciertos trabajos, cómo se ve el trabajo diario, etc. Ahora me preguntaba, ¿qué se …

14 machine-learning  teaching 

Muchos algoritmos de aprendizaje automático, por ejemplo, redes neuronales, esperan lidiar con los números. Entonces, cuando tiene datos categóricos, necesita convertirlos. Por categórico quiero decir, por ejemplo: Marcas de automóviles: Audi, BMW, Chevrolet ... ID de usuario: 1, 25, 26, 28 ... Aunque los ID de usuario son números, son …

14 machine-learning  many-categories 

En el primer capítulo del libro Algebraic Geometry and Statistical Learning Theory, que habla sobre la convergencia de las estimaciones en diferentes espacios funcionales, menciona que la estimación bayesiana corresponde a la topología de distribución de Schwartz, mientras que la estimación de máxima verosimilitud corresponde a la topología supranormal (en …

14 bayesian  maximum-likelihood  statistical-learning 

Esta pregunta surge de la que se hace aquí acerca de un límite en las funciones generadoras de momento (MGF). Supongamos que XXX es una variable aleatoria media cero limitada que toma valores en [−σ,σ][−σ,σ][-\sigma, \sigma] y deja que G(t)=E[etX]G(t)=E[etX]G(t) = E[e^{tX}] sea ​​su MGF. Desde un ligado utilizado en …

14 probability  probability-inequalities  mgf 

Estoy tratando de comprender la medida dinámica de deformación del tiempo para comparar series de tiempo juntas. Tengo tres series de datos de series de tiempo como esta: T1 <- structure(c(0.000213652387565, 0.000535045478866, 0, 0, 0.000219346347883, 0.000359669104424, 0.000269469145783, 0.00016051364366, 0.000181950509461, 0.000385579332948, 0.00078170803205, 0.000747244535774, 0, 0.000622858922454, 0.000689084895259, 0.000487983408564, 0.000224744353298, 0.000416449765747, 0.000308388157895, 0.000198906016907, …

14 r  time-series  clustering 

¿Alguna recomendación para elegir una biblioteca de optimización restringida adecuada para mi función de optimización? Estoy minimizando ai) la función no lineal con restricciones lineales de igualdad y desigualdad, y ii) tengo disponible el gradiente y el hessian de la función. Si ayuda, la función que estoy minimizando es la …

14 r  optimization  software 

Estoy tratando de reproducir un algoritmo de predicción existente, transmitido por un investigador retirado. El primer paso es ajustar algunos datos observados a una distribución de Weibull, para obtener una forma y una escala que se utilizarán para predecir valores futuros. Estoy usando R para hacer esto. Aquí hay un …

14 distributions  curve-fitting 

Me he encontrado con estos dos términos que se usan indistintamente en muchos contextos. Básicamente, un moderador (M) es un factor que afecta la relación entre X e Y. El análisis de moderación generalmente se realiza utilizando un modelo de regresión. Por ejemplo, el género (M) puede afectar la relación …

14 regression  interaction  interpretation  regression-coefficients  terminology