Estadísticas y Big Data

Estoy trabajando en un algoritmo que necesita calcular el tamaño de un conjunto generado por las intersecciones de al menos 2 conjuntos. Más específicamente: z= | UNA0 0∩ ... ∩ AnorteEl |z=|A0∩…∩An| z = \left |A_0 \cap \ldots \cap A_n \right | Los conjuntos que se entrecruzan son generados por …

10 error  sample 

Estaba leyendo las notas de la conferencia de Andrew Ng sobre el aprendizaje por refuerzo, y estaba tratando de entender por qué la iteración de políticas convergía con la función de valor óptimo y la política óptima .V∗V∗V^*π∗π∗\pi^* La iteración de la política de recuperación es: Initialize π randomlyRepeat{Let V:=Vπ …

10 reinforcement-learning  policy-iteration 

Estoy analizando algunos datos de comportamiento utilizando lme4en R, sobre todo después de excelentes tutoriales de Bodo invierno , pero no entiendo si yo estoy manejando adecuadamente las interacciones. Peor aún, nadie más involucrado en esta investigación utiliza modelos mixtos, por lo que estoy un poco a la deriva cuando …

10 r  mixed-model  p-value  lme4-nlme 

Tengo algunos datos y estaba tratando de ajustarle una curva suave. Sin embargo, no quiero imponer demasiadas creencias previas o preconcepciones demasiado fuertes (excepto las implicadas por el resto de mi pregunta) sobre ella, o cualquier distribución específica. Solo quería ajustarlo con una curva suave (o tener una buena estimación …

10 estimation  nonparametric  references 

Tengo una ecuación para predecir el peso de los manatíes a partir de su edad, en días (dias, en portugués): R <- function(a, b, c, dias) c + a*(1 - exp(-b*dias)) Lo modelé en R, usando nls (), y obtuve este gráfico: Ahora quiero calcular el intervalo de confianza del …

10 confidence-interval  nonlinear-regression 

En la regresión logística, una razón de probabilidad de 2 significa que el evento es 2 veces más probable dado un aumento de una unidad en el predictor. En la regresión de Cox, una razón de riesgo de 2 significa que el evento ocurrirá el doble de veces en cada …

10 logistic  cox-model  odds-ratio  hazard 

Supongamos que se pide a expertos que clasifiquen un conjunto de objetos en orden o preferencia. Permitir lazos en los rankings.kkknnn John Kemeny y Laurie Snell en su libro de 1962 "Modelos matemáticos en las ciencias sociales" proponen resolver el siguiente problema: PROYECTO . Desarrolle una medida de la confiabilidad …

10 reliability  ranking  order-statistics 

¿Cuál es la estructura de varianza-covarianza predeterminada para efectos aleatorios en glmero lmeren lme4paquete? ¿Cómo se especifica otra estructura de varianza-covarianza para efectos aleatorios en el código? No pude encontrar ninguna información al respecto en la lme4documentación.

10 mixed-model  lme4-nlme  covariance-matrix 

Estoy haciendo análisis de series de tiempo usando R. Tengo que descomponer mis datos en componentes de tendencia, estacionales y aleatorios. Tengo datos semanales por 3 años. He encontrado dos funciones en R - stl()y decompose(). He leído que stl()no es bueno para la descomposición multiplicativa. ¿Alguien puede decirme en …

10 r  time-series 

Del Quick-R de Robert Kabacoff tengo # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, statistic=bs, …

10 r  regression  p-value  bootstrap 

Aquí hay un caso de ejemplo: Tengo una población de 10,000 artículos. Cada artículo tiene una identificación única. Escojo al azar 100 artículos y anoto los identificadores Puse los 100 artículos nuevamente en la población Elijo aleatoriamente 100 artículos nuevamente, anoto los identificadores y los reemplazo. En total, repito este …

10 probability  hypergeometric 

El capítulo 2.4 de ESL parece clasificar la regresión lineal como "basada en el modelo", porque supone que , mientras que no se establece una aproximación similar para los vecinos k más cercanos. ¿Pero no están ambos métodos haciendo suposiciones sobre ?f(x)≈x⋅βf(x)≈x⋅βf(x) \approx x\cdot\betaf(x)f(x)f(x) Más adelante en 2.4 incluso dice: …

10 machine-learning  model  k-nearest-neighbour 

Comparación de dos muestras de proporciones, estimación del tamaño de la muestra: R vs Stata Obtuve resultados diferentes para los tamaños de muestra, de la siguiente manera: En R power.prop.test(p1 = 0.70, p2 = 0.85, power = 0.90, sig.level = 0.05) Resultado: (entonces 161) para cada grupo.n = 160.7777norte=160,7777n = …

10 r  stata  sample-size  power-analysis  jmp 

Estoy tratando de entender qué es un modelo saturado. AFAIK es cuando tienes tantas características como observaciones. ¿Podemos decir que un modelo saturado es un caso especial de un modelo extremadamente sobreajustado?

10 overfitting 

Estoy enseñando un curso de estadística básica y hoy cubriré la prueba de independencia chi-cuadrado para dos categorías y la prueba de homogeneidad. Estos dos escenarios son conceptualmente diferentes, pero pueden usar la misma estadística y distribución de prueba. En una prueba de homogeneidad, se supone que los totales marginales …

10 chi-squared  independence  heteroscedasticity  teaching