Estadísticas y Big Data

Siempre me cuesta explicar las técnicas estadísticas al público sin antecedentes estadísticos. Si quisiera explicar qué es GLM a esa audiencia (sin descartar la jerga estadística), ¿cuál sería la mejor manera o la más efectiva? Usualmente explico GLM con tres partes: (1) el componente aleatorio que es variable de respuesta, …

16 generalized-linear-model  communication 

Tengo una aplicación basada en servlet en la que mido el tiempo necesario para completar cada solicitud a ese servlet. Ya calculo estadísticas simples como la media y la máxima; Sin embargo, me gustaría producir un análisis más sofisticado, y para hacerlo creo que necesito modelar adecuadamente estos tiempos de …

16 distributions  web 

Aquí está mi experimento: Estoy usando la findPeaksfunción en el paquete quantmod : Quiero detectar picos "locales" dentro de una tolerancia 5, es decir, las primeras ubicaciones después de que la serie temporal caiga de los picos locales en 5: aa=100:1 bb=sin(aa/3) cc=aa*bb plot(cc, type="l") p=findPeaks(cc, 5) points(p, cc[p]) p …

16 r  time-series 

Me doy cuenta de que esto es subjetivo, pero pensé que sería bueno hablar sobre nuestros conjuntos de datos favoritos y lo que creemos que los hace interesantes. Hay una gran cantidad de datos, y con todas las API (por ejemplo, Datamob ) junto con los conjuntos de datos clásicos …

16 dataset 

Tengo datos de recuento (análisis de demanda / oferta con recuento de clientes, dependiendo de, posiblemente, muchos factores). Intenté una regresión lineal con errores normales, pero mi diagrama QQ no es realmente bueno. Intenté una transformación logarítmica de la respuesta: una vez más, mal QQ-plot. Así que ahora estoy intentando …

16 count-data  poisson-regression  overdispersion  quasi-likelihood 

Se me ha encomendado la tarea de trasladar uno de nuestros modelos estocásticos grandes actuales de SAS a un nuevo idioma. Personalmente, prefiero un lenguaje compilado tradicional, pero el PI quiere que revise R, que nunca he usado. Nuestra motivación para sacar el modelo de SAS es (1) muchas personas …

16 r  computing 

Considere la regresión lineal con cierta regularización: Ej. Encuentre que minimice| El | A x - b | El | 2 + λ | El | x | El | 1xxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Por lo general, las columnas de A están estandarizadas para tener una media cero y una norma …

16 regression  lasso  regularization  standardization 

Soy bastante nuevo en esto, así que espero que me perdones si la pregunta es ingenua. (Contexto: estoy aprendiendo econometría del libro "Teoría y métodos econométricos" de Davidson y MacKinnon , y no parecen explicar esto; también he visto el libro de optimización de Luenberger que trata las proyecciones en …

16 regression  least-squares 

Esta es una pregunta para principiantes, pero ¿cómo se interpreta un resultado exp (B) de 6.012 en un modelo de regresión logística multinomial? 1) ¿es 6.012-1.0 = 5.012 = 5012% de aumento en el riesgo? o 2) 6.012 / (1 + 6.012) = 0.857 = 85.7% de aumento en el …

16 multinomial 

Tengo un modelo lineal clásico, con 5 posibles regresores. No están correlacionados entre sí y tienen una correlación bastante baja con la respuesta. Llegué a un modelo donde 3 de los regresores tienen coeficientes significativos para su estadística t (p <0.05). Agregar una o las dos variables restantes da valores …

16 r  regression  self-study  linear-model 

Tengo un conjunto de datos donde cada dato consiste en nnn medidas diferentes. Para cada medida, tengo un valor de referencia. Me gustaría saber qué tan cerca está cada dato del valor de referencia. Pensé en usar la distancia euclidiana ponderada de esta manera: rex , b= ( ∑nortei = …

16 distance-functions 

Me piden que escriba una introducción a las estadísticas y estoy luchando por cómo mostrar gráficamente la forma en que se relacionan el valor p y el poder. Se me ocurrió este gráfico: Mi pregunta: ¿hay una mejor manera de mostrar esto? Aquí está mi código R x <- seq(-4, …

16 r  teaching  power 

Estoy tratando de implementar un análisis de "punto de cambio" o una regresión multifásica usando nls()en R. Aquí hay algunos datos falsos que he hecho . La fórmula que quiero usar para ajustar los datos es: y=β0+β1x+β2max(0,x−δ)y=β0+β1x+β2max(0,x−δ)y = \beta_0 + \beta_1x + \beta_2\max(0,x-\delta) Lo que se supone que debe hacer …

16 r  regression  change-point  nls 

Soy farmacólogo y, en mi experiencia, casi todos los trabajos de investigación biomédica básica utilizan la prueba t de Student (ya sea para respaldar la inferencia o para cumplir con las expectativas ...). Hace un par de años, me llamó la atención que la prueba t de Student no es …

16 hypothesis-testing  teaching  statistical-significance 

La distribución de Kolmogorov-Smirnov se conoce por la prueba de Kolmogorov-Smirnov . Sin embargo, también es la distribución del supremum del puente browniano. Como esto está lejos de ser obvio (para mí), me gustaría pedirle una explicación intuitiva de esta coincidencia. Las referencias también son bienvenidas.

16 distributions  hypothesis-testing  mathematical-statistics  stochastic-processes