Estadísticas y Big Data

Hemos medido dos variables, y el diagrama de dispersión parece sugerir múltiples modelos "lineales". ¿Hay alguna forma de tratar de destilar esos modelos? Identificar otras variables independientes ha resultado ser difícil. Ambas variables están muy sesgadas a la izquierda (hacia los números pequeños), esta es una distribución esperada en nuestro …

11 linear-model  scatterplot 

La documentación de R para cualquiera no arroja mucha luz. Todo lo que puedo obtener de este enlace es que usar cualquiera de los dos debería estar bien. Lo que no entiendo es por qué no son iguales. Hecho: La función de regresión gradual en R, step()usa extractAIC(). Curiosamente, ejecutar …

11 r  regression  aic  stepwise-regression 

Estoy tratando de estimar una regresión lineal múltiple en R con una ecuación como esta: regr <- lm(rate ~ constant + askings + questions + 0) las preguntas y preguntas son series temporales de datos trimestrales, construidas con askings <- ts(...). El problema ahora es que obtuve residuos autocorrelacionados. Sé …

11 r  time-series  multiple-regression  autocorrelation  residuals 

Las definiciones de un parámetro y estadística coinciden bastante: los parámetros y las estadísticas son características numéricas o resúmenes numéricos de una población y una muestra, respectivamente, para un estudio dado. No creo que este sea un uso común, pero ... ¿Podría el tamaño de la población norteNN ser considerado …

11 terminology  definition 

Ahora estoy leyendo una nota sobre Bioestadística escrita por PMT Education, y noto las siguientes oraciones en la Sección 2.7: Un bebé nacido en el percentil 50 de masa es más pesado que el 50% de los bebés. Un bebé nacido en el percentil 25 de masa es más pesado …

11 mathematical-statistics  quantiles  definition 

Cuando se calcula el error estándar de un coeficiente de regresión, no tenemos en cuenta la aleatoriedad en la matriz de diseño . En OLS, por ejemplo, calculamos comoXXXvar(β^)var(β^)\text{var}(\hat{\beta})var((XTX)−1XTY)=σ2(XTX)−1var((XTX)−1XTY)=σ2(XTX)−1\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} Si la se considerara aleatoria, la ley de la varianza total exigiría, en cierto sentido, la contribución adicional de …

11 regression  probability  variance  inference 

Estoy tratando de entender el factor Bayes (BF). Creo que son como la razón de probabilidad de 2 hipótesis. Entonces, si BF es 5, significa que H1 es 5 veces más probable que H0. Y el valor de 3-10 indica evidencia moderada, mientras que> 10 indica evidencia fuerte. Sin embargo, …

11 hypothesis-testing  bayesian  p-value  bayes-factors 

En el libro de Goodfellow (2016) sobre aprendizaje profundo, habló sobre la equivalencia de la parada temprana a la regularización L2 ( https://www.deeplearningbook.org/contents/regularization.html página 247). La aproximación cuadrática de la función de costo viene dada por:jjj J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)J^(θ)=J(w∗)+12(w−w∗)TH(w−w∗)\hat{J}(\theta)=J(w^*)+\frac{1}{2}(w-w^*)^TH(w-w^*) donde es la matriz de Hesse (Ec. 7.33). ¿Falta esto el término medio? …

11 neural-networks  deep-learning  loss-functions  derivative 

Antecedentes : tengo un doctorado en psicología social, donde las estadísticas teóricas y las matemáticas apenas se cubrieron en mi curso cuantitativo. En la escuela de pregrado y posgrado, me enseñaron (al igual que muchos de ustedes también en ciencias sociales, probablemente) a través del marco frecuentista "clásico". Ahora, también …

11 probability  bayesian  simulation  monte-carlo  frequentist 

Tengo una función de probabilidad L(d|θ)L(d|θ)\mathcal{L}(d | \theta) para la probabilidad de mis datos ddd dados algunos parámetros del modelo θ∈RNθ∈RN\theta \in \mathbf{R}^N , que me gustaría estimar. Suponiendo anteriores planos sobre los parámetros, la probabilidad es proporcional a la probabilidad posterior. Yo uso un método MCMC para probar esta …

11 bayesian  maximum-likelihood  optimization  inference  mcmc 

La distribución normal parece poco intuitiva hasta que aprende el CLT, lo que explica por qué es tan frecuente en la vida real. Pero, ¿surge alguna vez como la distribución "natural" de alguna cantidad?

11 normal-distribution  central-limit-theorem 

Según las referencias Libro 1 , Libro 2 y papel . Se ha mencionado que existe una equivalencia entre la regresión regularizada (Ridge, LASSO y Elastic Net) y sus fórmulas de restricción. También he visto Cross Validated 1 y Cross Validated 2 , pero no puedo ver una respuesta clara …

11 regression  optimization  lasso  ridge-regression  elastic-net 

Antecedentes En informática, matemáticas y, a veces, en otros campos, los ejemplos "esotéricos" no solo pueden ser entretenidos, sino útiles para ilustrar ciertos conceptos, por ejemplo: Bogosort y Slowsort son algoritmos de clasificación muy ineficientes que pueden usarse para comprender las propiedades de los algoritmos, en particular cuando se comparan …

11 hypothesis-testing  teaching  humor 

Si Uniform y Bin , entonces la media posterior de viene dada por .p∼p∼p \sim(0,1)(0,1)(0,1)X∼X∼X \sim(n,p)(n,p)(n, p)pppX+1n+2X+1n+2\frac{X+1}{n+2} ¿Hay un nombre común para este estimador? Descubrí que resuelve los problemas de muchas personas y me gustaría poder señalar a las personas a una referencia, pero no he podido encontrar el nombre …

11 bayesian  terminology  laplace-smoothing 

Recientemente me he dado cuenta de los métodos 'libres de probabilidades' que se usan en la literatura. Sin embargo, no tengo claro qué significa que un método de inferencia u optimización esté libre de probabilidades . En el aprendizaje automático, el objetivo suele ser maximizar la probabilidad de que algunos …

11 machine-learning  deep-learning  maximum-likelihood  generative-models  abc