Estadísticas y Big Data

Estoy buscando algunas técnicas robustas para eliminar los valores atípicos y los errores (cualquiera sea la causa) de los datos financieros de series temporales (es decir, tickdata). Los datos de series de tiempo financieras tick-by-tick son muy desordenados. Contiene grandes brechas (de tiempo) cuando el intercambio está cerrado, y hace …

16 time-series  outliers 

No soy estadístico, pero estoy muy interesado en las estadísticas y me gustaría comprar un libro para tener como referencia. Tengo algunos libros sobre temas específicos (como Los elementos del aprendizaje estadístico para el aprendizaje automático o el Análisis de datos bayesianos para ... bueno, Análisis de datos bayesianos :) …

16 references 

Entiendo P(A∩B)/P(B)=P(A|B)P(A∩B)/P(B)=P(A|B)P(A\cap B)/P(B) = P(A|B) . El condicional es la intersección de A y B dividida por toda el área de B. Pero, ¿por qué P(A∩B|C)/P(B|C)=P(A|B∩C)P(A∩B|C)/P(B|C)=P(A|B∩C)P(A\cap B|C)/P(B|C) = P(A|B \cap C) ? ¿Puedes darme algo de intuición? ¿No debería ser: P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A∩B∩C)/P(B,C)=P(A|B∩C)P(A\cap B \cap C)/P(B,C) = P(A|B \cap C) ?

16 probability  conditional-probability 

Mis variables de entrada tienen diferentes dimensiones. Algunas variables son decimales, mientras que otras son cientos. ¿Es esencial centrar (restar la media) o escalar (dividir por desviación estándar) estas variables de entrada para que los datos no tengan dimensiones cuando se utiliza un bosque aleatorio?

16 random-forest  standardization  data-preprocessing  centering 

En mi estudio mediré la carga de trabajo con varias métricas. Con variabilidad de la frecuencia cardíaca (VFC), actividad electrodérmica (AED) y con una escala subjetiva (IWS). Después de la normalización, el IWS tiene tres valores: Carga de trabajo inferior a lo normal La carga de trabajo es promedio La …

16 r  logistic  lme4-nlme  ordered-logit  polr 

Me pregunto si hay alguna relación entre estas 3 medidas. Parece que no puedo establecer una conexión entre ellos al referirme a las definiciones (posiblemente porque soy nuevo en estas definiciones y me está costando un poco entenderlas). Sé que el rango de la similitud del coseno puede ser de …

16 correlation  z-score  cosine-similarity 

Estoy aprendiendo sobre splines del libro "Los elementos de la minería de datos estadísticos de aprendizaje, inferencia y predicción" de Hastie et al. En la página 145 descubrí que las estrías cúbicas naturales son lineales más allá de los nudos de límite. Hay KKK nudos, en las splines y se …

16 regression  degrees-of-freedom  splines  constraint  cubic 

¿Qué transmite el número de filtros en una capa de convolución? ¿Cómo afecta este número el rendimiento o la calidad de la arquitectura? Quiero decir, ¿deberíamos optar siempre por un mayor número de filtros? ¿Qué hay de bueno de ellos? y ¿Cómo asigna la gente un número diferente de filtros …

16 deep-learning  conv-neural-network 

Nota: disculpas de antemano si esto es un duplicado, no encontré una q similar en mi búsqueda Digamos que tenemos un verdadero parámetro p. Un intervalo de confianza C (X) es un RV que contiene p, digamos el 95% del tiempo. Ahora supongamos que observamos X y calculamos C (X). …

16 probability  confidence-interval 

En los modelos lineales necesitamos verificar si existe una relación entre las variables explicativas. Si se correlacionan demasiado, entonces hay colinealidad (es decir, las variables se explican parcialmente entre sí). Actualmente solo estoy mirando la correlación por pares entre cada una de las variables explicativas. Pregunta 1: ¿Qué clasifica como …

16 correlation  linear-model  multicollinearity 

Varias descripciones sobre la selección del modelo sobre los efectos aleatorios de los modelos lineales mixtos indican el uso de REML. Sé la diferencia entre REML y ML en algún nivel, pero no entiendo por qué REML debe usarse porque ML está sesgado. Por ejemplo, ¿es incorrecto realizar un LRT …

16 mixed-model  maximum-likelihood  unbiased-estimator  likelihood-ratio  reml 

Conozco 3 métodos para hacer estimaciones de parámetros, ML, MAP y enfoque de Bayes. Y para el enfoque de MAP y Bayes, tenemos que elegir prioridades para los parámetros, ¿verdad? Digamos que tengo este modelo , en el que son parámetros, para hacer la estimación utilizando MAP o Bayes, leí …

16 bayesian  estimation  prior 

¿Alguien puede explicar la función de autocorrelación en una serie de datos? Aplicando acf a los datos, ¿cuál sería la aplicación?

16 autocorrelation 

¿Cuál sería un número mínimo "razonable" de observaciones para buscar una tendencia en el tiempo con una regresión lineal? ¿Qué hay de ajustar un modelo cuadrático? Trabajo con índices compuestos de desigualdad en salud (SII, RII), y solo tengo 4 ondas de la encuesta, entonces 4 puntos (1997,2001,2004,2008). No soy …

16 regression 

¿Cuáles son algunas técnicas para muestrear dos variables aleatorias correlacionadas? si sus distribuciones de probabilidad están parametrizadas (por ejemplo, log-normal) si tienen distribuciones no paramétricas. Los datos son dos series de tiempo para las cuales podemos calcular coeficientes de correlación distintos de cero. Deseamos simular estos datos en el futuro, …

16 correlation  sampling  monte-carlo  stochastic-processes  copula