Estadísticas y Big Data

Esto puede sonar muy básico, pero tengo este problema: tengo una cola de datos con un tamaño de ventana de 300. Se agregan nuevos datos en un extremo, los valores antiguos se eliminan del otro extremo. Espero que los datos de la cola se mantengan más o menos consistentes, por …

9 time-series  maximum 

Me enfrento a intentar demostrar a través de la prueba una tasa de error extremadamente baja para un sensor (no más de 1 error en 1,000,000 de intentos). Tenemos un tiempo limitado para realizar el experimento, por lo que anticipamos no poder obtener más de aproximadamente 4,000 intentos. No veo …

9 survival  sample-size  quality-control 

Mientras comprobaba si dos variables estaban correlacionadas, observé que la aplicación de la correlación de Pearson arrojó números tan bajos como 0.1, lo que indica que no hay correlación. ¿Hay algo que pueda hacer para fortalecer esta afirmación? El conjunto de datos (subconjunto debido a los límites de publicación) que …

9 correlation  data-mining  pearson-r 

Al estimar el intervalo de confianza de la media, creo que se pueden aplicar tanto el método bootstrap t como el método bootstrap no paramétrico, pero el primero requiere un poco más de cálculo. Me pregunto cuáles son las ventajas y desventajas de bootstrap t sobre el bootstrap no paramétrico …

9 confidence-interval  bootstrap 

Tengo una especie de pregunta filosófica sobre cuándo es necesaria la corrección de comparación múltiple. Estoy midiendo una señal continua que varía en el tiempo (en puntos de tiempo discretos). Eventos separados ocurren de vez en cuando y me gustaría establecer si estos eventos tienen un efecto significativo en la …

9 hypothesis-testing  multiple-comparisons 

Tengo un conjunto de datos con aproximadamente 2,000 variables binarias / 200,000 filas y estoy tratando de predecir una sola variable dependiente binaria. Mi objetivo principal en esta etapa no es obtener la precisión de la predicción, sino identificar cuáles de estas variables son predictores importantes. Me gustaría reducir el …

9 machine-learning  data-mining  large-data 

No estoy seguro de qué método usar para modelar la relación entre dos variables ( e ) en el experimento que se describe a continuación:yXxxyyy Hay 3 variables: , e . x yXa i mxaimx_{aim}Xxxyyy El valor de se establece al operar el experimento. Sin embargo, y no siempre son …

9 regression  correlation 

Leí un artículo wiki sobre Apriori. Tengo el problema de entender la ciruela y el paso Join. ¿Alguien puede explicarme cómo funciona el algoritmo Apriori en términos simples (de modo que un principiante como yo pueda entenderlo fácilmente)? Será bueno si alguien explica el proceso paso a paso involucrado en …

9 data-mining  algorithms  frequentist 

Me encontré con esta oración mientras leía un artículo en sciencemag.org . Al final, se incluyeron respuestas de solo 7600 investigadores en 12 países porque los datos restantes no se consideraron estadísticamente significativos. ¿Es esta una forma adecuada de hacer una investigación? ¿Dejar de lado los resultados porque no se …

9 statistical-significance  sampling  outliers  theory 

¿Alguien puede dar una explicación de por qué la prueba t "sucede"? Me enseñaron a usar la prueba t cuando no conoce la desviación estándar de la población (es decir, solo conoce la desviación estándar de su muestra), pero no estoy seguro de por qué eso lo haría diferente de …

9 hypothesis-testing  t-test 

Para alguna variable Y, que se divide en 3 grupos (X), deseo comparar los grupos y para la hipótesis de que el cuantil del 90% es el mismo entre los tres grupos. ¿Qué pruebas puedo usar? Una opción que se me ocurre es usar la regresión cuantil, ¿hay otras alternativas …

9 hypothesis-testing  anova  median  quantiles  kruskal-wallis 

Deseo simular a partir de una densidad normal (digamos media = 1, sd = 1) pero solo quiero valores positivos. Una forma es simular desde una normal y tomar el valor absoluto. Pienso en esto como una normal plegada. Veo en R que hay funciones para la generación de variables …

9 normal-distribution  simulation  truncation 

Entiendo que no deberíamos permitir que el mismo conjunto de datos que estamos analizando conduzca / defina cómo se verían las distribuciones anteriores en un análisis bayesiano. Específicamente, no es apropiado definir distribuciones previas para un análisis bayesiano basado en estadísticas resumidas del mismo conjunto de datos en el que …

9 bayesian  prior 

Estoy trabajando en un proyecto de control de máquinas. Podemos medir la corriente del motor durante la operación. A continuación se muestran datos de muestra de dos motores que realizan una operación con éxito. El trazo rojo muestra la corriente de un motor, el azul traza la corriente de otro. …

9 time-series 

Básicamente, el objetivo de la agrupación de gráficos y los métodos de detección de la comunidad es calcular las agrupaciones. ¿Hay alguna diferencia entre ellos?

9 clustering