Estadísticas y Big Data

Tengo curiosidad por saber qué tan importante es el nodo de sesgo para la efectividad de las redes neuronales modernas. Puedo entender fácilmente que puede ser importante en una red poco profunda con solo unas pocas variables de entrada. Sin embargo, las redes neuronales modernas, como en el aprendizaje profundo, …

19 neural-networks  deep-learning  bias-node 

Estoy tratando de ajustar un modelo utilizando datos de viento (0, 359) y hora del día (0, 23), pero me preocupa que encajen mal en una regresión lineal porque no son parámetros lineales. Me gustaría transformarlos usando Python. He visto alguna mención al cálculo de una media vectorial tomando el …

19 regression  python  circular-statistics 

Esta publicación se relaciona con un evento que cambia rápidamente. Encontré una pregunta de 2012 que tenía una muy buena discusión sobre Julia como una alternativa a R / Python para varios tipos de trabajo estadístico. Aquí se encuentra la pregunta original de 2012 sobre la promesa de Julia Desafortunadamente, …

19 r  python  computing  julia 

CrossValidated tiene varias preguntas sobre cuándo y cómo aplicar la corrección de sesgo de eventos raros por King y Zeng (2001) . Estoy buscando algo diferente: una demostración mínima basada en simulación de que existe el sesgo. En particular, el estado de King y Zeng "... en datos de eventos …

19 r  logistic  simulation  bias  rare-events 

A continuación se muestra la gráfica de glmnet con alfa predeterminado (1, por lo tanto, lazo) utilizando mtcarsdatos establecidos en R con mpgDV y otros como variables predictoras. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) ¿Qué podemos concluir de este gráfico con respecto a las diferentes variables, especialmente am, cyly wt(líneas roja, negra y azul …

19 regression  feature-selection  lasso  glmnet 

Utilizo la descomposición de Cholesky para simular variables aleatorias correlacionadas dada una matriz de correlación. La cuestión es que el resultado nunca reproduce la estructura de correlación tal como se da. Aquí hay un pequeño ejemplo en Python para ilustrar la situación. import numpy as np n_obs = 10000 means …

19 correlation  random-generation  cholesky 

Aparentemente, el coeficiente de correlación de Pearson es paramétrico y el rho de Spearman no es paramétrico. Tengo problemas para entender esto. Según tengo entendido, Pearson se calcula como y Spearman se calcula de la misma manera, excepto que sustituimos todos los valores con sus rangos.rx y= c o v …

19 nonparametric  pearson-r  parametric  spearman-rho 

Si tenemos 2 variables aleatorias normales no correlacionadas entonces podemos crear 2 variables aleatorias correlacionadas con la fórmulaX1, X2X1,X2X_1, X_2 Y= ρ X1+ 1 - ρ2-----√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 y luego tendrá una correlación con .ρ X 1YYYρρ\rhoX1X1X_1 ¿Alguien puede explicar de dónde viene esta fórmula?

19 correlation  normal-distribution  covariance 

He leído este gran artículo de David Colquhoun: Una investigación de la tasa de descubrimiento falso y la mala interpretación de los valores p (2014). En esencia, explica por qué la tasa de descubrimiento falso (FDR) puede ser tan alta como a pesar de que controlamos el error tipo I …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Comprendo t-SNE y la aproximación de Barnes-Hut es que se requieren todos los puntos de datos para que todas las interacciones de fuerza se puedan calcular al mismo tiempo y cada punto se pueda ajustar en el mapa 2d (o de dimensión inferior). ¿Hay alguna versión de t-sne que pueda …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

RNN se puede utilizar para la predicción, o el mapeo secuencia a secuencia. Pero, ¿cómo se puede usar RNN para la clasificación? Quiero decir, le damos a una secuencia completa una etiqueta.

19 machine-learning  neural-networks  rnn 

En los libros de texto y las conferencias de youtube aprendí mucho sobre modelos iterativos como el impulso, pero nunca vi nada acerca de derivar un intervalo de predicción. La validación cruzada se utiliza para lo siguiente: Selección de modelo : pruebe diferentes modelos y elija el que mejor se …

19 cross-validation  boosting  prediction-interval 

Excepto por el hecho de que los rendimientos pueden ser negativos, mientras que los precios deben ser positivos, ¿hay alguna otra razón para modelar los precios de las acciones como una distribución normal de registro, pero modelar los retornos de las acciones como una distribución normal?

19 normal-distribution  lognormal  finance 

Considere los siguientes datos de un diseño bidireccional dentro de los sujetos: df <- "http://personality-project.org/r/datasets/R.appendix4.data" df <- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 …

19 mixed-model  repeated-measures  model-selection  lme4-nlme  likelihood-ratio 

¿Cuáles son algunos teoremas que podrían explicar (es decir, generativamente) por qué se espera que los datos del mundo real se distribuyan normalmente? Hay dos que conozco: El Teorema del límite central (por supuesto), que nos dice que la suma de varias variables aleatorias independientes con media y varianza (incluso …

19 normal-distribution  central-limit-theorem