Estadísticas y Big Data

En un escenario de regresión LASSO donde y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , y las estimaciones de LASSO están dadas por el siguiente problema de optimización minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 ¿Hay supuestos de distribución con respecto al ?ϵϵ\epsilon En un escenario OLS, uno esperaría que los …

18 regression  lasso  assumptions  residuals 

El año pasado, en NIPS 2017, Ali Rahimi y Ben Recht ganaron el premio de la prueba del tiempo por su trabajo "Características aleatorias para máquinas de grano a gran escala", donde introdujeron características aleatorias, que luego se codificaron como el algoritmo de fregaderos de cocina aleatorios. Como parte de …

18 machine-learning  svm  gaussian-process  approximation 

Quiero crear un código para trazar ACF y PACF a partir de datos de series temporales. Al igual que esto generó la trama de minitab (abajo). He intentado buscar la fórmula, pero todavía no la entiendo bien. ¿Te importaría decirme la fórmula y cómo usarla, por favor? ¿Cuál es la …

18 correlation  data-visualization  autocorrelation  partial-correlation 

Me encontré con este hilo mirando las diferencias entre bootstrapping y validación cruzada: una gran respuesta y referencias por cierto. Lo que me pregunto ahora es, si tuviera que realizar un CV repetido de 10 veces para calcular la precisión de un clasificador, ¿cuántas veces n debería repetirlo? ¿ Depende …

18 cross-validation 

¿Por qué la divergencia KL no es negativa? Desde la perspectiva de la teoría de la información, tengo una comprensión tan intuitiva: Digamos que hay dos conjuntos y que se componen del mismo conjunto de elementos etiquetados por . y son diferentes distribuciones de probabilidad sobre el conjunto y respectivamente.AAABBBxxxp(x)p(x)p(x)q(x)q(x)q(x)AAABBB …

18 information-theory  kullback-leibler 

Quiero implementar un algoritmo en un documento que utiliza el kernel SVD para descomponer una matriz de datos. Así que he estado leyendo materiales sobre métodos de kernel y PCA de kernel, etc. Pero aún me resulta muy oscuro, especialmente cuando se trata de detalles matemáticos, y tengo algunas preguntas. …

18 pca  svd  kernel-trick 

He visto tramas de error de prueba / entrenamiento que caen repentinamente en ciertas épocas varias veces durante el entrenamiento de la red neuronal, y me pregunto qué causa estos saltos de rendimiento: Esta imagen está tomada de Kaiming He Github, pero en muchos periódicos aparecen tramas similares.

18 conv-neural-network 

He escrito un programa que genera datos aleatorios. Si el programa funciona correctamente, esos datos deben seguir una distribución de probabilidad específica y conocida. Me gustaría ejecutar el programa, hacer algunos cálculos sobre el resultado y obtener un valor p. Antes de que nadie más lo diga: entiendo que las …

17 distributions  hypothesis-testing  random-generation 

Contexto: En el ejemplo de 8 escuelas de Gelman (Bayesian Data Analysis, 3a edición, Ch 5.5) hay ocho experimentos paralelos en 8 escuelas que prueban el efecto del coaching. Cada experimento produce una estimación de la efectividad del entrenamiento y el error estándar asociado. Luego, los autores crean un modelo …

17 bayesian  hierarchical-bayesian 

Tengo una variable numérica que resulta no significativa en un modelo de regresión logística multivariante. Sin embargo, cuando lo categorizo ​​en grupos, de repente se vuelve significativo. Esto es muy contra-intuitivo para mí: al categorizar una variable, proporcionamos cierta información. ¿Cómo puede ser esto?

17 regression  logistic  statistical-significance  multivariate-analysis 

He leído innumerables publicaciones en este sitio que están increíblemente en contra del uso de la selección gradual de variables usando cualquier tipo de criterio, ya sea basado en valores p, AIC, BIC, etc. Entiendo por qué estos procedimientos son en general bastante pobres para la selección de variables. La …

17 forecasting  predictive-models  arima  aic  stepwise-regression 

¿Por qué se eligió la letra Q en nombre de Q-learning? La mayoría de las letras se eligen como abreviatura, como ππ\pi representando política y vvv representa valor. Pero no creo que Q sea una abreviatura de ninguna palabra.

17 terminology  reinforcement-learning  history  q-learning 

He entrenado un modelo de regresión lineal, utilizando un conjunto de variables / características. Y el modelo tiene un buen rendimiento. Sin embargo, me he dado cuenta de que no hay una variable con una buena correlación con la variable predicha. ¿Como es posible?

17 regression  machine-learning  correlation  multiple-regression  linear-model 

Se estima que los estimadores de regresión penalizados como LASSO y ridge corresponden a estimadores bayesianos con ciertos antecedentes. Supongo (como no sé lo suficiente sobre las estadísticas bayesianas) que para un parámetro de ajuste fijo, existe un previo concreto correspondiente. Ahora un frecuentista optimizaría el parámetro de ajuste mediante …

17 bayesian  lasso  ridge-regression 

Acabo de tener un examen donde se nos presentaron dos variables. En un juego de dictador donde un dictador recibe 100 USD y puede elegir cuánto enviar o conservar para sí mismo, hubo una correlación positiva entre la edad y la cantidad de dinero que los participantes decidieron quedarse. Mi …

17 correlation  causality