Estadísticas y Big Data

Estoy tratando de construir un modelo de predicción con SVM en datos bastante desequilibrados. Mis etiquetas / resultados tienen tres clases, positiva, neutral y negativa. Yo diría que el ejemplo positivo representa alrededor del 10-20% de mis datos, neutral alrededor del 50-60% y negativo alrededor del 30-40%. Estoy tratando de …

9 machine-learning  predictive-models  svm  unbalanced-classes 

Si le doy tres números que se extraen de forma independiente e idéntica de una distribución normal estándar, ¿le he dado tres muestras o una muestra? Si la respuesta es una muestra, ¿hay un nombre corto para lo que les he dado tres?

9 sample  terminology  definition 

Tengo algunos datos de series temporales en los que la variable medida es enteros positivos discretos (recuentos). Quiero probar si hay una tendencia al alza con el tiempo (o no). La variable independiente (x) está en el rango 0-500 y la variable dependiente (y) está en el rango 0-8. Pensé …

9 r  regression  python 

Comencé mi doctorado en estadística este año, y estoy buscando sus mejores prácticas, consejos y (meta-consejos) sobre cómo crecer y convertirse en un buen investigador académico en los campos de estadística / ML. Se agradecen los pensamientos generales y los enlaces, pero para comenzar a rodar la pelota, aquí hay …

9 careers  phd  academia 

Introducción En la combinación de pronósticos, una de las soluciones populares se basa en la aplicación de algún criterio de información. Tomando, por ejemplo, el criterio de Akaike estimado para el modelo , uno podría calcular las diferencias de de y luego RP_j = e ^ {(AIC ^ * - …

9 time-series  forecasting  data-transformation  econometrics 

Supongamos que tenemos un modelo lineal que cumple con todos los supuestos de regresión estándar (Gauss-Markov). Estamos interesados ​​en . θ = 1 / β 1yi=β0+β1xi+ϵiyi=β0+β1xi+ϵiy_i = \beta_0 + \beta_1 x_i + \epsilon_iθ=1/β1θ=1/β1\theta = 1/\beta_1 Pregunta 1: ¿Qué supuestos son necesarios para que la distribución de esté bien definida? sería …

9 regression  distributions  maximum-likelihood  bootstrap 

Tengo algunos datos sobre el tiempo entre latidos de un humano. Una indicación de latidos ectópicos (extra) es que estos intervalos se agrupan alrededor de tres valores en lugar de uno. ¿Cómo puedo obtener una medida cuantitativa de esto? Estoy buscando comparar múltiples conjuntos de datos, y estos dos histogramas …

9 clustering 

Si tengo una variable con 4 niveles, en teoría necesito usar 3 variables ficticias. En la práctica, ¿cómo se lleva a cabo esto realmente? ¿Uso 0-3, uso 1-3 y dejo en blanco los 4? ¿Alguna sugerencia? NOTA: voy a estar trabajando en R. ACTUALIZACIÓN: ¿Qué sucedería si solo uso una …

9 r  regression  categorical-data  categorical-encoding 

Al intentar evaluar lo que constituye una familia de hipótesis dentro de un experimento / proyecto / análisis, he encontrado "similar en propósito" y "similar en contenido" dados como pautas para delimitar familias, pero estos dejan bastante abierto a la interpretación ( por decir lo menos). Parece claro que si …

9 hypothesis-testing  multiple-comparisons 

No entiendo por qué la reducción en la dimensión es importante. ¿Cuál es el beneficio de tomar algunos datos y reducir su dimensión?

9 dimensionality-reduction  svd 

Ambas variables (dependientes e independientes) muestran efectos de autocorrelación. Los datos son series temporales y estacionarias Cuando ejecuto la regresión, los residuos parecen no estar correlacionados. Mi estadística de Durbin-Watson es mayor que el valor crítico superior, por lo que existe evidencia de que los términos de error no están …

9 regression  time-series  autocorrelation 

¿Existen mejores métodos alternativos para elegir C y Gamma que produzcan un mejor rendimiento de entrenamiento?

9 machine-learning 

Estoy tratando de visualizar algunos datos del consumidor, que tiene 4 categorías. Los usuarios son libres de cambiar entre diferentes categorías. Me gustaría visualizar los últimos tres o cuatro interruptores para cada individuo. Entonces, comenzaríamos con un gráfico con una columna con 4 proporciones apiladas. Después de eso tendríamos 16, …

9 r  data-visualization  sankey-diagram 

Mi colega y yo estamos ajustando una gama de modelos de efectos mixtos lineales y no lineales en R. Se nos pide que realicemos una validación cruzada en los modelos ajustados para poder verificar que los efectos observados son relativamente generalizables. Esta es normalmente una tarea trivial, pero en nuestro …

9 mixed-model  cross-validation 

Inicialmente pregunté esto en el desbordamiento de la pila y me remitieron a este sitio, así que aquí va: Estoy implementando algunos métodos no supervisados ​​de resumen de documentos basados ​​en selección / extracción de contenido y estoy confundido acerca de lo que mi libro de texto llama la "relación …

9 natural-language  text-summarization