Estadísticas y Big Data

Wikipedia informa que bajo la regla de Freedman y Diaconis, el número óptimo de contenedores en un histograma, debería crecer comokkk k ∼norte1 / 3k∼norte1/ /3k\sim n^{1/3} donde es el tamaño de la muestra.nortenorten Sin embargo, si observa la nclass.FDfunción en R, que implementa esta regla, al menos con datos …

8 histogram  rule-of-thumb 

Tengo una pregunta sobre el modelado de series de tiempo en R. Mis datos consisten en la siguiente matriz: 1 0.03333333 0.01111111 0.9555556 2 0.03810624 0.02309469 0.9387991 3 0.00000000 0.03846154 0.9615385 4 0.03776683 0.03119869 0.9310345 5 0.06606607 0.01201201 0.9219219 6 0.03900325 0.02058505 0.9404117 7 0.03125000 0.01562500 0.9531250 8 0.00000000 0.00000000 …

8 r  time-series  forecasting  compositional-data 

Me preguntaba si hay un subconjunto de temas de estadísticas frecuentistas que uno debería saber antes de comenzar a aprender estadísticas bayesianas. Una vez que leí eso, parece que las dos tendencias son antagónicas entre sí; por ejemplo, el análisis frecuentista se basa en gran medida en suposiciones (hipótesis) que …

8 bayesian  frequentist 

Todas las distribuciones en un intervalo acotado satisfacen:[0,1][0,1][0,1] σ2≤μ(1−μ)σ2≤μ(1−μ)\sigma^2 \le \mu (1-\mu) donde es la media y la varianza.μμ\muσ2σ2\sigma^2 Ahora suponga que la distribución es unimodal, en el sentido de que tiene como máximo un máximo local. ¿Cuál es el valor mínimo que puede tener la siguiente relación? μ(1−μ)σ2?μ(1−μ)σ2?\frac{\mu (1-\mu)}{\sigma^2}?

8 variance 

Actualmente estoy usando una parada temprana en mi trabajo para evitar un ajuste excesivo. Específicamente, los que se tomaron antes de parar pero ¿cuándo? . Ahora quiero comparar con otros algoritmos de clasificación donde parece que la validación cruzada 10 veces se usa ampliamente. Sin embargo, estoy confundido acerca de …

8 cross-validation  overfitting 

Tengo un gran problema con un problema conceptual que se me ocurrió. Digamos que una empresa tiene una distribución que está muy sesgada. Algo similar a un exponencial o lognormal solo más extremo. Ahora imagine que la distribución está tan sesgada que la media de la distribución es mayor que …

8 mean  prediction-interval 

Así que estoy jugando con la idea de escribir un algoritmo que crezca y elimine un árbol de regresión de los datos y luego, en los nodos terminales del árbol, se ajuste a un GLM. He estado tratando de leer sobre la idea, pero parece que no puedo encontrar ningún …

8 regression  generalized-linear-model  cart 

Estoy tratando de replicar lo que la función dfbetas()hace en R . dfbeta() no es un problema ... Aquí hay un conjunto de vectores: x <- c(0.512, 0.166, -0.142, -0.614, 12.72) y <- c(0.545, -0.02, -0.137, -0.751, 1.344) Si ajusto dos modelos de regresión de la siguiente manera: fit1 <- …

8 r  regression  regression-coefficients  diagnostic 

Tengo una muestra de una distribución discreta como tal: Type: 0 1 2 3 4 5 Occurrences: 88 12 52 43 21 5 Mi tarea es probar si una Distribución binomial (n = 5, p) se ajusta o no a estos datos. Entiendo que estoy destinado a usar la prueba …

8 hypothesis-testing  distributions  chi-squared  binomial 

Estoy escribiendo un programa para evaluar propiedades inmobiliarias y realmente no entiendo las diferencias entre algunos modelos de regresión robustos, por eso no sé cuál elegir. Probé lmrob, ltsRegy rlm. para el mismo conjunto de datos, los tres métodos me dieron valores diferentes para los coeficientes. Pensé que lo mejor …

8 r  regression  p-value  r-squared 

Una suposición para el análisis de regresión es que e no están entrelazados. Sin embargo, cuando lo pienso, me parece que tiene sentido.XXXYYY Aquí hay un ejemplo. Si tenemos una prueba con 3 secciones (AB y C). El puntaje general de la prueba es igual a la suma de los …

8 regression  correlation  r-squared 

Quiero ajustar un modelo lineal por R con family=binomial(link="identity"), sin embargo, la familia binomial no tiene un enlace de identidad. ¿Qué tengo que hacer?

8 r  generalized-linear-model  binomial  link-function 

Tengo curiosidad acerca de cómo el paquete lmerTest en R, específicamente la función "rand", maneja las pruebas de efectos aleatorios. Considere el ejemplo del pdf lmerTest en CRAN que usa el conjunto de datos "zanahorias" incorporado: #import lme4 package and lmerTest package library(lmerTest) #lmer model with correlation between intercept and …

8 lme4-nlme  mixed-model  likelihood-ratio 

XXX es una variable aleatoria discreta que puede tomar valores de . Como es una función convexa, podemos utilizar la desigualdad de Jensen para derivar un límite inferior : ¿Es posible derivar un límite superior ?( 0 , 1 )(0,1)(0,1)φ ( x ) = 1 / xφ(x)=1/x\varphi(x)=1/xmi[11 - X] ≥11 …

8 probability  expected-value  bounds 

He leído las respuestas existentes en CrossValidated (más en otro lugar en línea) y no puedo encontrar lo que estoy buscando, pero sírvase señalarme las fuentes existentes si las he perdido. Digamos que tengo un conjunto de datos de N = 1000 registros, cada uno de los cuales puede muestrearse …

8 bayesian  sampling  sample-size  hypergeometric