Estadísticas y Big Data

Debido al factorial en una distribución de Poisson, resulta poco práctico estimar los modelos de Poisson (por ejemplo, utilizando la máxima probabilidad) cuando las observaciones son grandes. Entonces, por ejemplo, si estoy tratando de estimar un modelo para explicar el número de suicidios en un año determinado (solo hay datos …

17 modeling  poisson-distribution  large-data 

Podemos suponer que tenemos un archivo CSV y queremos un diagrama de línea muy básico con varias líneas en un diagrama y una leyenda simple.

17 data-visualization 

Me gustaría construir un algoritmo que pudiera analizar cualquier serie de tiempo y elegir "automáticamente" el mejor método de pronóstico tradicional / estadístico (y sus parámetros) para los datos de series de tiempo analizados. ¿Sería posible hacer algo como esto? En caso afirmativo, ¿puede darme algunos consejos sobre cómo abordar …

17 time-series  forecasting  python 

Pensando en usar redes neuronales recurrentes para el pronóstico de series de tiempo. Básicamente implementan una especie de regresión automática no lineal generalizada, en comparación con los modelos ARMA y ARIMA que utilizan la regresión automática lineal. Si estamos realizando una regresión automática no lineal, ¿sigue siendo necesario que las …

17 time-series  autoregressive  nonlinear  stationarity 

Mi comprensión del algoritmo es la siguiente: Ningún muestreador de giro en U (NUTS) es un método hamiltoniano de Monte Carlo. Esto significa que no es un método de la cadena de Markov y, por lo tanto, este algoritmo evita la parte de la caminata aleatoria, que a menudo se …

17 bayesian  monte-carlo  markov-process 

El PCA robusto (desarrollado por Candes et al. 2009 o mejor aún, Netrepalli et al. 2014 ) es un método popular para la detección de valores atípicos multivariados , pero la distancia de Mahalanobis también se puede utilizar para la detección de valores atípicos dada una estimación robusta y regularizada …

17 pca  outliers  covariance-matrix  robust  anomaly-detection 

Estoy usando Lasso para la selección de características en una configuración dimensional relativamente baja (n >> p). Después de ajustar un modelo de lazo, quiero usar las covariables con coeficientes distintos de cero para ajustar un modelo sin penalización. Estoy haciendo esto porque quiero estimaciones imparciales que Lasso no puede …

17 regression  feature-selection  lasso  unbiased-estimator 

Conozco los beneficios de la regularización cuando construyo modelos predictivos (sesgo vs. varianza, evitando el sobreajuste). Pero me pregunto si es una buena idea hacer también la regularización (lazo, cresta, red elástica) cuando el propósito principal del modelo de regresión es la inferencia de los coeficientes (ver qué predictores son …

17 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Estoy leyendo el siguiente blog sobre la red neuronal LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ El autor da nueva forma al vector de entrada X como [muestras, pasos de tiempo, características] para diferentes configuraciones de LSTM. El autor escribe De hecho, las secuencias de letras son pasos de tiempo de una característica en lugar …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Estoy trabajando con muchos algoritmos: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear y rbf), KNN, LDA y XGBoost. Todos ellos fueron bastante rápidos, excepto SVM. Fue entonces cuando llegué a saber que necesita una función de escala para funcionar más rápido. Entonces comencé a preguntarme si debería hacer lo mismo …

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

En primer lugar, disculpas por publicar una pregunta que ya se ha discutido extensamente aquí , aquí , aquí , aquí , aquí, y para recalentar un viejo tema. Sé que @DikranMarsupial ha escrito sobre este tema extensamente en publicaciones y artículos de revistas, pero todavía estoy confundido, y a …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

He leído las siguientes publicaciones para la validación cruzada anidada y todavía no estoy 100% seguro de lo que debo hacer con la selección del modelo con validación cruzada anidada: Validación cruzada anidada para la selección del modelo Selección de modelo y validación cruzada: la forma correcta Para explicar mi …

17 cross-validation  scikit-learn  hyperparameter 

Si tengo datos y ejecuto una clasificación (digamos bosque aleatorio en estos datos) con validación cruzada (digamos 5 veces), ¿podría concluir que no hay un ajuste excesivo en mi método?

17 cross-validation  overfitting 

Pregunta (s): ¿Cuál es la idea y la intuición detrás de la estimación cuasi máxima verosimilitud (QMLE; también conocida como pseudo estimación de máxima verosimilitud, PMLE)? ¿Qué hace que el estimador funcione cuando la distribución de error real no coincide con la distribución de error supuesta? El sitio de Wikipedia …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Supppse XXX e YYY están distribuidos uniformemente de manera uniforme en [ 0 , 1 ][0,1][0, 1] , y son independientes, ¿cuál es el PDF de Z = Y / XZ=Y/XZ = Y / X ? La respuesta de algún libro de texto de teoría de la probabilidad es f …

17 probability  derived-distributions