Estadísticas y Big Data

Mis preguntas son: ¿Se garantiza que los modelos lineales generalizados (GLM) converjan a un máximo global? Si es así, ¿por qué? Además, ¿qué restricciones hay en la función de enlace para asegurar la convexidad? Mi comprensión de los GLM es que maximizan una función de probabilidad altamente no lineal. Por …

16 generalized-linear-model  optimization  convergence  exponential-family 

¿Cuáles son los requisitos de estacionariedad para usar la regresión con errores ARIMA (regresión dinámica) para la inferencia? Específicamente, tengo una no estacionario continuo variable de resultado , una variable predictor continuo no estacionario x un y una variable ficticia serie tratamiento x b . Me gustaría saber si el …

16 regression  time-series  arima  stationarity 

Actualmente leo el artículo Efficient Online y Batch Learning usando Forward-Backward Splitting de John Duchi y Yoram Singer. Estoy muy confundido sobre el uso de los términos 'Online' y 'Batch'. Pensé que "en línea" significa que actualizamos los parámetros de peso después de procesar una unidad de los datos de …

16 machine-learning  online  gradient-descent 

Todavía soy bastante nuevo en los modelos lineales generalizados, y lucho con mucha notación en la mayoría de los textos GLM que he recogido. ¿Hay libros GLM extremadamente populares que se prestan mejor a la legibilidad?

16 regression  generalized-linear-model  references 

Necesito encontrar el mínimo de una función. Leer los documentos en http://docs.scipy.org/doc/scipy/reference/optimize.html , veo que hay varios algoritmos que hacen lo mismo, es decir, encontrar el mínimo. ¿Cómo sé cuál debo elegir? algunos de los algoritmos enumerados Minimice una función usando el algoritmo downx simplex. Minimice una función usando el …

16 optimization 

Digamos que tengo una regresión multivariable (varias variables independientes) que consta de 3 variables. Cada una de esas variables tiene un coeficiente dado. Si decido introducir una cuarta variable y volver a ejecutar la regresión, ¿cambiarán los coeficientes de las 3 variables originales? En términos más generales: en una regresión …

16 regression  multiple-regression  multivariable 

Estoy tratando de aprender estadísticas porque encuentro que es tan frecuente que me prohíbe aprender algunas cosas si no las entiendo correctamente. Tengo problemas para entender esta noción de una distribución de muestreo de las medias muestrales. No puedo entender la forma en que algunos libros y sitios lo han …

16 distributions  normal-distribution  sampling  normality-assumption 

Estoy impresionado por la R forecast paquete , así como por ejemplo, el zoopaquete para series temporales irregulares y la interpolación de valores perdidos. Mi aplicación se encuentra en el área de pronóstico de tráfico del centro de llamadas, por lo que los datos de los fines de semana (casi) …

16 r  time-series  forecasting  missing-data  unevenly-spaced-time-series 

Acabo de volver a ver una conferencia del curso de Machine Learning en Coursera. En la sección donde el profesor discute PCA para el procesamiento previo de datos en aplicaciones de aprendizaje supervisado, dice que PCA solo debe realizarse en los datos de entrenamiento y luego el mapeo se utiliza …

16 r  pca  cross-validation  caret 

Version corta: Tengo una serie temporal de datos climáticos que estoy probando para la estacionariedad. Basado en investigaciones previas, espero que el modelo subyacente (o "que genera", por así decirlo) los datos tengan un término de intercepción y una tendencia de tiempo lineal positiva. Para probar la estacionariedad de estos …

16 time-series  stationarity  unit-root  augmented-dickey-fuller 

A menudo he visto consejos para verificar si un ajuste del modelo de Poisson se dispersa en exceso o no, lo que implica dividir la desviación residual entre los grados de libertad. La relación resultante debe ser "aproximadamente 1". La pregunta es de qué rango estamos hablando para "aproximados": ¿cuál …

16 poisson-distribution  negative-binomial  poisson-regression  overdispersion 

¿Puede alguien resumirme con posibles ejemplos, en qué situaciones el aumento de los datos de capacitación mejora el sistema en general? ¿Cuándo detectamos que agregar más datos de entrenamiento podría sobrepasar los datos y no dar una buena precisión en los datos de la prueba? Esta es una pregunta muy …

16 machine-learning  classification  dataset  precision-recall 

¿Cómo probaría o comprobaría que el muestreo es IID (Independiente e idénticamente distribuido)? Tenga en cuenta que no me refiero a gaussiano e idénticamente distribuido, solo IID. Y la idea que me viene a la mente es dividir repetidamente la muestra en dos submuestras de igual tamaño, realizar la prueba …

16 hypothesis-testing  independence  kolmogorov-smirnov  resampling  iid 

Simulación de novo de datos de un marco de datos de diseño experimental. Con un enfoque en R (aunque otra solución de lenguaje sería genial). Al diseñar un experimento o una encuesta, simular datos y realizar un análisis de estos datos simulados puede proporcionar una excelente visión de las ventajas …

16 r  experiment-design  simulation 

¿La normalización de datos (para tener una media de desviación estándar de unidad y cero) antes de realizar una validación cruzada repetida de k veces tiene alguna consecuencia negativa como el sobreajuste? Nota: esto es para una situación donde #cases> total #características Estoy transformando algunos de mis datos usando una …

16 cross-validation  normalization