Estadísticas y Big Data

¿Cuál sería el enfoque para usar Dynamic Time Warping (DTW) para realizar la agrupación de series de tiempo? He leído sobre DTW como una forma de encontrar similitudes entre dos series de tiempo, mientras que podrían cambiarse en el tiempo. ¿Puedo usar este método como una medida de similitud para …

40 time-series  clustering 

Encontré la unidad lineal rectificada (ReLU) elogiada en varios lugares como una solución al problema del gradiente de fuga para las redes neuronales. Es decir, uno usa max (0, x) como función de activación. Cuando la activación es positiva, es obvio que es mejor que, digamos, la función de activación …

40 machine-learning  neural-networks  deep-learning  gradient-descent 

Me pregunto si alguien conoce alguna regla general con respecto al número de muestras de bootstrap que uno debe usar, en función de las características de los datos (número de observaciones, etc.) y / o las variables incluidas.

40 bootstrap  inference  monte-carlo 

En el análisis de datos bayesianos, los parámetros se tratan como variables aleatorias. Esto se deriva de la conceptualización subjetiva bayesiana de la probabilidad. Pero, ¿reconocen teóricamente los bayesianos que hay un verdadero valor de parámetro fijo en el "mundo real"? Parece que la respuesta obvia es 'sí', porque tratar …

40 probability  bayesian  parameterization 

"Big data" está en todas partes en los medios. Todos dicen que "big data" es lo más importante para 2012, por ejemplo, la encuesta de KDNuggets sobre temas candentes para 2012 . Sin embargo, tengo profundas preocupaciones aquí. Con Big Data, todo el mundo parece estar feliz de sacar algo …

40 data-mining  dataset  large-data  validation 

Tengo que encontrar un IC del 95% en la mediana y otros percentiles. No sé cómo abordar esto. Principalmente uso R como herramienta de programación.

40 r  confidence-interval  median 

Digamos que tengo dos matrices unidimensionales, y . Cada uno contiene 100 puntos de datos. son los datos reales, y es la predicción del modelo. En este caso, el valor sería: Mientras tanto, esto sería igual al valor cuadrado del coeficiente de correlación, Ahora si cambio los dos: son los …

40 correlation  r-squared 

He estado jugando con bosques aleatorios para la regresión y tengo dificultades para determinar exactamente qué significan las dos medidas de importancia y cómo deben interpretarse. La importance()función proporciona dos valores para cada variable: %IncMSEy IncNodePurity. ¿Hay interpretaciones simples para estos 2 valores? En IncNodePurityparticular, ¿es esto simplemente la cantidad …

40 r  machine-learning  random-forest  importance 

Soy nuevo en estadísticas y actualmente trato con ANOVA. Realizo una prueba ANOVA en R usando aov(dependendVar ~ IndependendVar) Obtengo, entre otros, un valor F y un valor p. Mi hipótesis nula ( ) es que todas las medias grupales son iguales.H0 0H0 0H_0 Hay mucha información disponible sobre cómo …

40 r  anova  interpretation 

Estoy tratando de entender cómo funciona la retropropagación para una capa de salida softmax / cross-entropy. La función de error de entropía cruzada es E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j con ttt y ooo como objetivo y salida en la neurona jjj , respectivamente. La suma está sobre cada neurona en la …

40 backpropagation  derivative  softmax  cross-entropy 

Tengo algunos datos sobre vuelos de aerolíneas (en un marco de datos llamado flights) y me gustaría ver si el tiempo de vuelo tiene algún efecto sobre la probabilidad de una llegada significativamente demorada (es decir, 10 minutos o más). Pensé que usaría la regresión logística, con el tiempo de …

40 r  logistic  separation 

Para una distribución unimodal que es moderadamente sesgada, tenemos la siguiente relación empírica entre la media, la mediana y la moda: ¿Cómo fue esta relación? ¿derivado?(Mean - Mode)∼3(Mean - Median)(Media - Modo)∼3(Mediana Media) \text{(Mean - Mode)}\sim 3\,\text{(Mean - Median)} ¿Karl Pearson trazó miles de estas relaciones antes de llegar a …

40 distributions  mathematical-statistics  descriptive-statistics  history 

¿Qué es una variable supresora en regresión múltiple y cuáles podrían ser las formas de mostrar visualmente el efecto de supresión (su mecánica o su evidencia en los resultados)? Me gustaría invitar a todos los que tengan un pensamiento, para compartir.

40 multiple-regression  data-visualization  geometry  suppressor 

Estoy tratando de predecir el resultado de un sistema complejo utilizando redes neuronales (ANN). Los valores de resultado (dependientes) oscilan entre 0 y 10,000. Las diferentes variables de entrada tienen diferentes rangos. Todas las variables tienen distribuciones más o menos normales. Considero diferentes opciones para escalar los datos antes del …

40 machine-learning  neural-networks  multidimensional-scaling 

Hay un montón de libros de ciencia popular muy buenos, que tratan sobre ciencia real, así como la historia y las razones detrás de las teorías actuales, sin dejar de ser extremadamente agradable de leer. Por ejemplo, "Caos" de James Gleick (caos, fractales, no linealidad), "Una breve historia del tiempo" …

40 references  communication