Estadísticas y Big Data

Me imagino que controlar una variable en el diseño de su estudio es más efectivo para reducir el error que controlarlo post-hoc en su modelo de regresión. ¿Le importaría a alguien explicar formalmente cómo difieren estas dos instancias de "control"? ¿Cuán comparativamente efectivos son para reducir el error y generar …

11 regression  experiment-design  controlling-for-a-variable 

Estoy tratando de automatizar la detección de valores atípicos en series de tiempo y utilicé una modificación de la solución propuesta por Rob Hyndman aquí . Digamos que mido las visitas diarias a un sitio web de varios países. Para algunos países donde las visitas diarias son de cientos o …

11 time-series  outliers  computational-statistics 

Siguiente problema: Quiero predecir una variable de respuesta categórica con una (o más) variables categóricas usando glmnet (). Sin embargo, no puedo entender el resultado que me da glmnet. Ok, primero generemos dos variables categóricas relacionadas: Generar datos p <- 2 #number variables mu <- rep(0,p) sigma <- matrix(rep(0,p^2), ncol=p) …

11 categorical-data  multinomial  glmnet 

Estoy desarrollando una aplicación de pronóstico cuyo propósito es permitir que un importador pronostique la demanda de sus productos de su red de distribuidores de clientes. Las cifras de ventas son un buen proxy de la demanda, siempre que haya un inventario adecuado para satisfacer la demanda. Sin embargo, cuando …

11 r  regression  machine-learning  censoring 

¿Por qué los generadores de números aleatorios como runif()en R no generan el mismo resultado cada vez? Por ejemplo: X <- runif(100) X está generando diferentes salidas cada vez. ¿Cuál es la razón para generar diferentes salidas cada vez? ¿Qué funcionalidades tiene en segundo plano para hacer esto?

11 r  algorithms  random-generation  uniform 

Estoy tratando de realizar una regresión de lazo, que tiene la siguiente forma: Minimice in ( Y - X w ) ′ ( Y - X w ) + λwww( Y- Xw )′( Y- Xw ) + λEl | w |1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Dado un …

11 regression  lasso  quadratic-form 

Cada afirmación que encuentro del estimador de James-Stein supone que las variables aleatorias que se estiman tienen la misma varianza (y unidad). Pero todos estos ejemplos también mencionan que el estimador JS puede usarse para estimar cantidades sin nada que ver entre sí. El ejemplo de Wikipedia es la velocidad …

11 estimation  shrinkage  steins-phenomenon 

Estoy ajustando una regresión en el . ¿Es válido retroceder estimaciones puntuales de transformación (e intervalos de confianza / predicción) por exponenciación? No lo creo, ya que pero quería las opiniones de los demás.log(y)log⁡(y)\log(y)E[f(X)]≠f(E[X])E[f(X)]≠f(E[X])E[f(X)] \ne f(E[X]) Mi ejemplo a continuación muestra conflictos con la transformación posterior (.239 vs .219). set.seed(123) …

11 regression  back-transformation 

Mi pregunta se basa en esta respuesta que mostró qué lme4::lmermodelo corresponde a un ANOVA de medidas repetidas bidireccionales: require(lme4) set.seed(1234) d <- data.frame( y = rnorm(96), subject = factor(rep(1:12, 4)), a = factor(rep(1:2, each=24)), b = factor(rep(rep(1:2, each=12))), c = factor(rep(rep(1:2, each=48)))) # standard two-way repeated measures ANOVA: summary(aov(y~a*b+Error(subject/(a*b)), …

11 r  anova  mixed-model  repeated-measures  lme4-nlme 

Suponga que tiene una variable explicativa donde representa una coordenada dada. También tiene una variable de respuesta . Ahora, podemos combinar ambas variables como:X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T) En este caso, simplemente elegimos μ(s)=(μ1μ2)Tμ(s)=(μ1μ2)T\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; …

11 probability  bayesian  conditional-probability  gibbs 

Me temo que las preguntas relacionadas no respondieron a las mías. Evaluamos el rendimiento de> 2 clasificadores (aprendizaje automático). Nuestra hipótesis nula es que los rendimientos no difieren. Realizamos pruebas paramétricas (ANOVA) y no paramétricas (Friedman) para evaluar esta hipótesis. Si son significativos, queremos averiguar qué clasificadores difieren en una …

11 multiple-comparisons  bonferroni  tukey-hsd 

Si una distribución Gamma se parametriza con y , entonces:βαα\alphaββ\beta E(Γ(α,β))=αβE(Γ(α,β))=αβ E(\Gamma(\alpha, \beta)) = \frac{\alpha}{\beta} Me gustaría calcular la expectativa de un Gamma al cuadrado, es decir: E(Γ(α,β)2)=?E(Γ(α,β)2)=? E(\Gamma(\alpha, \beta)^2) = ? Yo creo que es: E(Γ(α,β)2)=(αβ)2+αβ2E(Γ(α,β)2)=(αβ)2+αβ2 E(\Gamma(\alpha, \beta)^2) = \left(\frac{\alpha}{\beta}\right)^2 + \frac{\alpha}{\beta^2} ¿Alguien sabe si esta última expresión es …

11 expected-value  gamma-distribution 

Soy un novato completo :) Estoy haciendo un estudio con un tamaño de muestra de 10,000 de una población de aproximadamente 745,000. Cada muestra representa un "porcentaje de similitud". La gran mayoría de las muestras son alrededor del 97% -98%, pero algunas son entre 60% y 90%, es decir, la …

11 bootstrap  sample-size  resampling 

Estoy trabajando con un conjunto de datos que no es paramétrico y tiene 12 tratamientos. Realicé la prueba de Kruskal-Wallis y obtuve un valor significativo , y ahora me gustaría realizar un procedimiento de comparaciones múltiples para ver cuál de los tratamientos difiere significativamente. Hay mucha información sobre este tema, …

11 nonparametric  multiple-comparisons  kruskal-wallis  dunn-test 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que esté en el tema de Cross Validated. Cerrado hace 2 años . ¿Cuáles son los métodos / implementación disponibles en R / Python para descartar / seleccionar características …

11 r  feature-selection  python