Estadísticas y Big Data

Tengo un conjunto de datos para el que tengo múltiples conjuntos de etiquetas binarias. Para cada conjunto de etiquetas, entreno a un clasificador, evaluándolo por validación cruzada. Quiero reducir la dimensionalidad utilizando el análisis de componentes principales (PCA). Mi pregunta es: ¿Es posible hacer el PCA una vez para todo …

35 machine-learning  classification  pca  cross-validation 

Estoy acostumbrado a ver Ljung-Box utilizado con bastante frecuencia para las pruebas de autocorrelación en los datos en bruto o en residuos del modelo. Casi había olvidado que no hay otra prueba de autocorrelación, es decir, de Breusch-Godfrey. Pregunta: ¿cuáles son las principales diferencias y similitudes de las pruebas Ljung-Box …

35 time-series  hypothesis-testing  autocorrelation 

He estado mirando la simulación de Monte Carlo recientemente, y la he estado usando para aproximar constantes como (círculo dentro de un rectángulo, área proporcional).ππ\pi Sin embargo, no puedo pensar en un método correspondiente para aproximar el valor de [número de Euler] utilizando la integración de Monte Carlo.eee ¿Tiene alguna …

35 simulation  monte-carlo  algorithms  random-generation  numerical-integration 

Recibí un script R de alguien para ejecutar un modelo de bosque aleatorio. Lo modifiqué y lo ejecuté con algunos datos de empleados. Estamos tratando de predecir separaciones voluntarias. Aquí hay información adicional: este es un modelo de clasificación donde 0 = empleado suspendido, 1 = empleado despedido, actualmente solo …

35 r  classification  error  random-forest 

Recientemente me di cuenta de que un modelo mixto con solo sujeto como factor aleatorio y los otros factores como factores fijos es equivalente a un ANOVA cuando se establece la estructura correlacional del modelo mixto en simetría compuesta. Por lo tanto, me gustaría saber qué significa la simetría compuesta …

35 correlation  anova  mixed-model  lme4-nlme 

Actualmente estoy trabajando para construir un modelo usando una regresión lineal múltiple. Después de jugar con mi modelo, no estoy seguro de cómo determinar mejor qué variables mantener y cuáles eliminar. Mi modelo comenzó con 10 predictores para el DV. Al usar los 10 predictores, cuatro se consideraron significativos. Si …

35 regression  multiple-regression  feature-selection  modeling  model-selection 

Digamos que tengo una densidad normal multivariada . Quiero obtener la segunda derivada (parcial) wrt . No estoy seguro de cómo tomar derivada de una matriz.norte( μ , Σ )norte(μ,Σ)N(\mu, \Sigma)μμ\mu Wiki dice que tome el elemento derivado por elemento dentro de la matriz. Estoy trabajando con la aproximación de …

35 self-study  normal-distribution  matrix 

La paradoja de Simpson es un rompecabezas clásico discutido en los cursos de introducción a la estadística en todo el mundo. Sin embargo, mi curso se conformó con simplemente nota de que existía un problema y no proporcionan una solución. Me gustaría saber cómo resolver la paradoja. Es decir, cuando …

35 simpsons-paradox 

Entiendo las pruebas de hipótesis de dos colas. Tienes (vs.H0:θ=θ0H0:θ=θ0H_0 : \theta = \theta_0H1=¬H0:θ≠θ0H1=¬H0:θ≠θ0H_1 = \neg H_0 : \theta \ne \theta_0 ). El valor es la probabilidad de que θ genere datos al menos tan extremos como los observados.pppθθ\theta No entiendo las pruebas de hipótesis de una cola. Aquí, (vs. …

35 hypothesis-testing 

Acabo de descubrir la commentfunción en R. Ejemplo: x <- matrix(1:12, 3,4) comment(x) <- c("This is my very important data from experiment #0234", "Jun 5, 1998") x comment(x) Esta es la primera vez que llegué a esta función y me preguntaba cuáles son sus usos comunes / útiles. Dado que …

35 r 

¿Qué blogs de investigación estadística recomendarías y por qué?

35 references 

Aparte de las pruebas, literalmente, cada combinación posible de la variable (s) en un modelo ( x1:x2o x1*x2 ... xn-1 * xn). ¿Cómo identificar si una interacción deberían o podrían existir entre el independiente (con suerte) las variables? ¿Cuáles son las mejores prácticas para intentar identificar interacciones? ¿Existe alguna técnica …

35 regression  modeling  interaction 

Cuadro grande: Estoy tratando de entender cómo aumentar el tamaño de la muestra aumenta la potencia de un experimento. Las diapositivas de mi profesor explican esto con una imagen de 2 distribuciones normales, una para la hipótesis nula y otra para la hipótesis alternativa y un umbral de decisión c …

35 variance  sampling  power 

Estoy creando una red neuronal convolucional (CNN), donde tengo una capa convolucional seguida de una capa de agrupación y quiero aplicar el abandono para reducir el sobreajuste. Tengo la sensación de que la capa de abandono debe aplicarse después de la capa de agrupación, pero realmente no tengo nada que …

35 deep-learning  conv-neural-network  dropout 

La codificación dispersa se define como el aprendizaje de un conjunto excesivo de vectores base para representar vectores de entrada (<- ¿por qué queremos esto?). ¿Cuáles son las diferencias entre codificación dispersa y autoencoder? ¿Cuándo utilizaremos codificación dispersa y autoencoder?

35 machine-learning  neural-networks  unsupervised-learning  deep-learning  autoencoders