Estadísticas y Big Data

Esta es mi primera publicación. Estoy realmente agradecido por esta comunidad. Estoy tratando de analizar datos de recuento longitudinal truncados a cero (probabilidad de que la variable de respuesta = 0 sea 0), y la media! = Varianza, por lo que se eligió una distribución binomial negativa sobre un poisson. …

13 r  stata  count-data  panel-data  truncation 

¿Alguien puede decirme la diferencia entre usar aov()y lme()analizar datos longitudinales y cómo interpretar los resultados de estos dos métodos? A continuación, se analiza el mismo conjunto de datos usando aov()y lme()y tengo 2 resultados diferentes. Con aov(), obtuve un resultado significativo en la interacción tiempo por tratamiento, pero ajustando …

13 r  mixed-model  repeated-measures  panel-data 

Me gustaría obtener los coeficientes para el problema LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. El problema es que las funciones glmnet y lars dan respuestas diferentes. Para la función glmnet pido los coeficientes de en lugar de solo λ , pero aún obtengo respuestas diferentes.λ/||Y||λ/||Y||\lambda/||Y||λλ\lambda ¿Se espera esto? ¿Cuál es la relación entre …

13 r  machine-learning  regression  lasso  regularization 

Necesito una fórmula para la probabilidad de un evento en una distribución de Bernoulli n-variada con las probabilidades dadas para un solo elemento y para pares de elementos . De manera equivalente que podría dar media y la covarianza de . P ( X i = 1 ) = p …

13 multivariate-analysis  discrete-data 

Estoy experimentando con la clasificación de datos en grupos. Soy bastante nuevo en este tema e intento comprender el resultado de algunos de los análisis. Usando ejemplos de Quick-R , Rse sugieren varios paquetes. He intentado usar dos de estos paquetes ( fpcusando la kmeansfunción y mclust). Un aspecto de …

13 r  clustering 

Los datos: he trabajado recientemente en el análisis de las propiedades estocásticas de un campo espacio-temporal de errores de pronóstico de producción de energía eólica. Formalmente, se puede decir que es un proceso indexados dos veces en el tiempo (con y ) y una vez en el espacio ( ) …

13 forecasting  data-mining  stochastic-processes  spatial  spatio-temporal 

Recientemente me gradué con mi maestría en modelado médico y biológico, acompañado de matemáticas de ingeniería como fondo. A pesar de que mi programa educativo incluía una cantidad significativa de cursos sobre estadística matemática (ver a continuación una lista), que manejé con calificaciones bastante altas, con frecuencia termino completamente perdido …

13 mathematical-statistics  bioinformatics  computational-statistics 

Tengo un conjunto de jugadores. Juegan uno contra el otro (en parejas). Los pares de jugadores se eligen al azar. En cualquier juego, un jugador gana y otro pierde. Los jugadores juegan entre sí un número limitado de juegos (algunos jugadores juegan más juegos, otros menos). Entonces, tengo datos (quién …

13 goodness-of-fit  ranking  rating 

En respuesta a un creciente cuerpo de estadísticos e investigadores que critican la utilidad de las pruebas de hipótesis nulas (NHT) para la ciencia como un esfuerzo acumulativo, la Fuerza de Tarea de la Asociación Americana de Psicología sobre Inferencia Estadística evitó una prohibición total de NHT, pero en cambio …

13 bayesian  confidence-interval  effect-size  inference 

Estoy ajustando una regresión logística paso a paso en un conjunto de datos en SPSS. En el procedimiento, estoy ajustando mi modelo a un subconjunto aleatorio que es de aprox. 60% de la muestra total, lo que equivale a unos 330 casos. Lo que me parece interesante es que cada …

13 logistic  spss  stepwise-regression 

¿Cuáles son los pros y los contras de usar LARS [1] versus usar el descenso coordinado para ajustar la regresión lineal regularizada por L1? Estoy principalmente interesado en los aspectos de rendimiento (mis problemas tienden a tener Ncientos de miles y p<20). Sin embargo, cualquier otra información también sería apreciada. …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

Hice esta pregunta ayer en StackOverflow, y obtuve una respuesta, pero acordamos que parece un poco hack y que puede haber una mejor manera de verlo. La pregunta: me gustaría calcular los errores estándar de Newey-West (HAC) para un vector (en este caso, un vector de devoluciones de acciones). La …

13 r  standard-error  autocorrelation  heteroscedasticity 

Actualmente estoy trabajando como asistente de enseñanza en mi universidad, en un curso introductorio de estadística (para estudiantes de medicina). Fuera de línea, hay muchos libros disponibles con información para ayudar al maestro. Sin embargo, lo que me interesa saber es si podría dirigirme a algún recurso (bueno) que proporcione …

13 probability  references  inference  descriptive-statistics  teaching 

Hago un montón de informes inmobiliarios y el precio medio a menudo se informa, particularmente por la NAR (Asociación Nacional de Agentes Inmobiliarios). Lo mejor que puedo decir es que solo obtienen las medianas de los precios inmobiliarios de cada área. Mi pregunta es, ¿cómo debe calcularse la mediana nacional, …

13 median 

Tengo dos conjuntos de datos que se centran aproximadamente en cero, pero sospecho que tienen colas diferentes. Conozco algunas pruebas para comparar la distribución con una distribución normal, pero me gustaría comparar directamente las dos distribuciones. ¿Existe una prueba simple para comparar la gordura de la cola de 2 distribuciones …

13 hypothesis-testing  distributions  kurtosis  fat-tails