Estadísticas y Big Data

Me estoy preparando para una entrevista que requiere un conocimiento decente de probabilidad básica (al menos para superar la entrevista en sí). Estoy trabajando en la hoja a continuación de mis días de estudiante como revisión. En su mayoría ha sido bastante sencillo, pero estoy completamente perplejo con la pregunta …

9 probability  self-study  random-variable 

Supongamos que tengo datos longitudinales de la forma (Tengo múltiples observaciones, esta es solo la forma de una sola). Estoy interesado en restricciones en . Una sin restricciones es equivalente a tomar Y_j = \ alpha_j + \ sum _ {\ ell = 1} ^ {j - 1} \ phi …

9 feature-selection  lasso  shrinkage 

Tengo dos conjuntos de puntos 2D y necesito estimar su correlación. ¿Qué fórmula debo usar? Ejemplo de matrices: X:((1,5),(2,5),(1,7),(4,1)),X:((1,5),(2,5),(1,7),(4,1)),X: ((1,5),(2,5),(1,7),(4,1)), Y:((3,4),(1,6),(4,6),(4,3)).Y:((3,4),(1,6),(4,6),(4,3)).Y: ((3,4),(1,6),(4,6),(4,3)).

9 correlation 

Quiero evaluar la precisión de las pruebas de normalidad en diferentes tamaños de muestra en R (me doy cuenta de que las pruebas de normalidad pueden ser engañosas ). Por ejemplo, para ver la prueba de Shapiro-Wilk, estoy realizando la siguiente simulación (además de trazar los resultados) y esperaría que …

9 r  simulation  power-analysis  normality-assumption 

Recientemente terminé de leer The Lady Tasting Tea , un libro divertido sobre la historia de las estadísticas. Al final del libro, el autor, David Salsburg , propone tres problemas filosóficos abiertos en estadística, cuyas soluciones argumentaría tendrían mayores implicaciones para la aplicación de la teoría estadística a la ciencia. …

9 probability 

Estoy tratando de estimar el efecto de 2 medicamentos ( drug1, drug2) en la probabilidad de que un paciente se caiga ( event). Los pacientes pueden caerse más de una vez y pueden ser quitados o quitados de las drogas en cualquier momento. Mi pregunta es cómo deben estructurarse los …

9 r  survival  cox-model 

Estoy trabajando en la estimación de la función de autorregresión vectorial (VAR) y de la función de respuesta al impulso (IRF) basada en datos de panel con 33 individuos en 77 trimestres. ¿Cómo se debe analizar este tipo de situación? ¿Qué algoritmos existen para este propósito? Preferiría realizar estos análisis …

9 r  econometrics  panel-data  var  impulse-response 

Pregunta : ¿La configuración a continuación es una implementación sensata de un modelo de Markov oculto? Tengo un conjunto de datos de 108,000observaciones (tomadas en el transcurso de 100 días) y aproximadamente 2000eventos a lo largo de todo el período de observación. Los datos se parecen a la figura a …

9 time-series  machine-learning  predictive-models  markov-chain  hidden-markov-model 

Tengo un modelo de regresión logística (ajuste a través de glmnet en R con regularización neta elástica), y me gustaría maximizar la diferencia entre los verdaderos positivos y los falsos positivos. Para hacer esto, me vino a la mente el siguiente procedimiento: Ajustar el modelo de regresión logística estándar Usando …

9 r  regression  logistic  classification  glmnet 

En Dixon, Coles ( 1997 ), utilizaron la estimación de máxima verosimilitud para los dos modelos de Poisson independientes modificados en (4.3) para modelar los puntajes en el fútbol. Estoy tratando de usar R para "reproducir" los parámetros alfa y beta, así como los parámetros del efecto de inicio (pág. …

9 r  modeling  maximum-likelihood  games 

Estoy tomando un curso de Introducción a Bayes y tengo dificultades para comprender las distribuciones predictivas. Entiendo por qué son útiles y estoy familiarizado con la definición, pero hay algunas cosas que no entiendo del todo. 1) Cómo obtener la distribución predictiva correcta para un vector de nuevas observaciones Supongamos …

9 bayesian  prediction 

Estoy interesado en encontrar un procedimiento para simular datos que sean consistentes con un modelo de mediación específico. De acuerdo con el marco general del modelo de ecuación estructural lineal para probar los modelos de mediación descritos por primera vez por Barron y Kenny (1986) y descritos en otros lugares, …

9 r  regression  simulation  random-generation  mediation 

Tengo un modelo dinámico de Bayes ingenuo entrenado en un par de variables temporales. La salida del modelo es la predicción de P(Event) @ t+1, estimada en cada uno t. La gráfica de P(Event)versus timees como se da en la figura a continuación. En esta figura, la línea negra representa …

9 time-series  probability  prediction  model-comparison  model-evaluation 

Tengo un conjunto de datos de información de clientes de teléfonos celulares con dos columnas. La primera columna contiene la determinada categoría en la que se encuentra una cuenta (A, B o C) y la segunda columna contiene un valor binario para determinar si esa cuenta se ha cancelado. p.ej …

9 hypothesis-testing  equivalence 

Hola, me cuesta entender Ref.df en la pantalla de salida en R: Approximate significance of smooth terms: edf Ref.df F p-value s(meangrain) 1.779 2.209 3.193 0.0451 * s(depth) 2.108 2.697 3.538 0.0254 * ¿Qué significa y es necesario incluir este término para presentar los resultados de GAM en un documento? …

9 model  gam  degrees-of-freedom