Estadísticas y Big Data

Después de entrenar vectores de palabras con word2vec, ¿es mejor normalizarlos antes de usarlos para algunas aplicaciones posteriores? Es decir, ¿cuáles son los pros / contras de normalizarlos?

38 natural-language  word2vec  word-embeddings 

Esta es una pregunta derivada de una situación de la vida real, por la cual me ha intrigado genuinamente su respuesta. Mi hijo debe comenzar la escuela primaria en Londres. Como somos italianos, tenía curiosidad por saber cuántos niños italianos ya asisten a la escuela. Le pregunté esto al Oficial …

37 probability  self-study  average 

TL, DR: Parece que, al contrario de lo que se repite con frecuencia, la validación cruzada de dejar uno fuera (LOO-CV), es decir,plegar CV con(el número de pliegues) igual a N (el número de observaciones de entrenamiento): arroja estimaciones del error de generalización que son las menos variables para cualquier …

37 regression  machine-learning  variance  cross-validation  predictive-models 

Soy un estudiante de economía con algo de experiencia con econometría y R. Me gustaría saber si alguna vez hay una situación en la que deberíamos incluir una variable en una regresión a pesar de que no sea estadísticamente significativa.

37 statistical-significance  feature-selection 

Derivar numéricamente los MLE s de GLMM es difícil y, en la práctica, lo sé, no debemos usar la optimización de la fuerza bruta (por ejemplo, usarla optimde una manera simple). Pero para mi propio propósito educativo, quiero probarlo para asegurarme de que entiendo correctamente el modelo (vea el código …

37 r  maximum-likelihood  optimization  lme4-nlme 

Quiero obtener un intervalo de predicción alrededor de una predicción de un modelo lmer (). He encontrado alguna discusión sobre esto: http://rstudio-pubs-static.s3.amazonaws.com/24365_2803ab8299934e888a60e7b16113f619.html http://glmm.wikidot.com/faq pero parecen no tener en cuenta la incertidumbre de los efectos aleatorios. Aquí hay un ejemplo específico. Estoy compitiendo con peces dorados. Tengo datos sobre las últimas …

37 r  mixed-model  prediction  prediction-interval  lme4-nlme 

Tengo tres grupos de datos, cada uno con una distribución binomial (es decir, cada grupo tiene elementos que son exitosos o fallidos). No tengo una probabilidad pronosticada de éxito, sino que solo puedo confiar en la tasa de éxito de cada uno como una aproximación a la verdadera tasa de …

37 statistical-significance  binomial  bernoulli-distribution 

¿Alguien puede darme alguna intuición sobre cuándo elegir SVM o LR? Quiero entender la intuición detrás de cuál es la diferencia entre los criterios de optimización para aprender el hiperplano de los dos, donde los objetivos respectivos son los siguientes: SVM: intente maximizar el margen entre los vectores de soporte …

37 regression  logistic  svm  optimization 

Estoy trabajando en un conjunto de datos con más de 200,000 muestras y aproximadamente 50 características por muestra: 10 variables continuas y las otras ~ 40 son variables categóricas (países, idiomas, campos científicos, etc.). Para estas variables categóricas, tiene por ejemplo 150 países diferentes, 50 idiomas, 50 campos científicos, etc. …

37 machine-learning  classification  categorical-data  random-forest  many-categories 

Quiero suponer que la temperatura de la superficie del mar del mar Báltico es la misma año tras año, y luego describirlo con un modelo lineal / función. La idea que tenía era ingresar el año como un número decimal (o num_months / 12) y averiguar cuál debería ser la …

37 r  regression  time-series  lm 

Estoy planeando mi boda Deseo estimar cuántas personas vendrán a mi boda. He creado una lista de personas y la posibilidad de que asistan en porcentaje. Por ejemplo Dad 100% Mom 100% Bob 50% Marc 10% Jacob 25% Joseph 30% Tengo una lista de aproximadamente 230 personas con porcentajes. ¿Cómo …

37 probability 

Para la gráfica 1, puedo probar la asociación entre xey haciendo una simple correlación. Para la gráfica 2, donde la relación es no lineal pero hay una relación clara entre x e y, ¿cómo puedo probar la asociación y etiquetar su naturaleza?

37 nonlinear-regression  non-independent  association-measure 

Aquí hay una cita del libro de Bishop "Reconocimiento de patrones y aprendizaje automático", sección 12.2.4 "Análisis factorial": De acuerdo con la parte resaltada, el análisis factorial captura la covarianza entre las variables en la matrizWWW . Me pregunto ¿CÓMO ? Así es como lo entiendo. Digamos que es la …

37 pca  factor-analysis  geometry 

Estoy empezando a querer avanzar en mi propio conjunto de habilidades y siempre me ha fascinado el aprendizaje automático. Sin embargo, hace seis años, en lugar de perseguir esto, decidí tomar un grado completamente ajeno a la informática. He estado desarrollando software y aplicaciones durante aproximadamente 8-10 años, así que …

37 machine-learning  references  mathematical-statistics 

Mi conjunto de datos es pequeño (120 muestras), sin embargo, el número de características es grande varía de (1000-200,000). Aunque estoy haciendo una selección de características para elegir un subconjunto de características, aún podría sobreajustar. Mi primera pregunta es, ¿cómo maneja SVM el sobreajuste, si es que lo hace? En …

37 classification  svm