Estadísticas y Big Data

Comunidad SE, espero obtener algunas ideas sobre el siguiente problema. Dado un modelo de regresión lineal simple Bajo una función de probabilidad gaussiana con términos de error homoscedastic, la distribución condicional de la variable dependiente toma la forma Asigno un conjugado condicional (no informativo) antes de \ beta y h …

8 regression  bayesian  variance  posterior  singular 

Deje que e sean variables aleatorias univariadas con CDF tales que: donde , son funciones conocidas.X:Ω→RX:Ω→RX:\Omega\to\mathbb{R}Y:Ω→RY:Ω→RY:\Omega\to\mathbb{R}FX,Y(x,y)FX,Y(x,y)F_{X,Y}(x,y)FX,Y(x,y)=G1(x)G2(y),∀(x,y)∈R×RFX,Y(x,y)=G1(x)G2(y),∀(x,y)∈R×R F_{X,Y}(x,y)=G_1(x)G_2(y),\forall (x,y)\in\mathbb{R}\times\mathbb{R} G1:R→RG1:R→RG_1:\mathbb{R}\to\mathbb{R}G2:R→RG2:R→RG_2:\mathbb{R}\to\mathbb{R} Pregunta : ¿Es cierto que e son RV independientes?XXXYYY ¿Alguien puede darme algunas pistas? Traté de: pero no sé por qué (o si) \ lim_ {y \ to \ infty} G_2 …

8 random-variable  joint-distribution 

He estado tratando de encontrar el valor esperado de una función de una variable aleatoria con una distribución de Dirichlet integrando su producto con la función de densidad de Dirichlet sobre un simplex en R. Para verificar que estaba aplicando la función correcta en R, intenté integrar la función de …

8 probability  distributions  dirichlet-distribution 

Estoy trabajando con el conjunto de datos "géiser" del paquete MASS y comparando las estimaciones de densidad del núcleo del paquete np. Mi problema es comprender la estimación de densidad utilizando la validación cruzada de mínimos cuadrados y el núcleo Epanechnikov: blep<-npudensbw(~geyser$waiting,bwmethod="cv.ls",ckertype="epanechnikov") plot(npudens(bws=blep)) Para el núcleo gaussiano parece estar bien: …

8 r  nonparametric  kernel-smoothing 

Estoy usando R para realizar una regresión lineal. He visto formas de calcular los intervalos de predicción, pero estos dependen de datos homoscedastic. ¿Hay alguna forma de calcular los intervalos de predicción con datos heteroscedásticos?

8 r  regression  least-squares  heteroscedasticity  prediction-interval 

Tengo los valores medios y medianos para una muestra extraída de una distribución lognormal. Tenga en cuenta que esta no es la media y la mediana de los registros de la variable, aunque, por supuesto, puedo calcular los registros de la media y la mediana. ¿Existe una solución de forma …

8 estimation  mean  lognormal  median  parameterization 

¿Por qué un GLM predice la media y no el modo de una señal? ¿Esto no contradice la base misma detrás del GLM, es decir, la máxima probabilidad? Las ecuaciones para resolver los parámetros del modelo en un GLM se basan en la maximización de la probabilidad según lo descrito …

8 generalized-linear-model  maximum-likelihood  mean  mode 

Como es bien sabido para la distribución normal, el 68% de la masa de probabilidad está dentro de una desviación estándar de la media, el 95% dentro de dos desviaciones estándar y el 99,7% dentro de 3 desviaciones estándar. Sin embargo, tengo algunas distribuciones empíricas que son leptokurtic y negativamente …

8 normal-distribution  skewness  kurtosis 

Como dice el título, ¿son intercambiables los términos función de densidad de probabilidad y distribución de probabilidad (o simplemente "distribución")? Sí no, ¿Cuál es la diferencia?

8 terminology 

Se ha hablado sobre otras preguntas sobre cómo se puede usar el enfoque de las Pruebas de dos lados (TOST) para la prueba de Kolmogorov-Smirnov (KS), pero me preguntaba si era posible usar directamente la estadística de prueba para mostrar que dos las distribuciones fueron similares? Según tengo entendido, el …

8 distributions  kolmogorov-smirnov  equivalence  tost 

Tengo un conjunto de datos que contiene la actividad del usuario con 168 dimensiones, donde deseo extraer clústeres utilizando aprendizaje no supervisado. No es obvio para mí si usar un enfoque de modelado de temas en la asignación de Dirichlet latente (LDA) o los modelos de mezcla gaussiana (GMM), que …

8 clustering  gaussian-mixture  unsupervised-learning  topic-models 

Me pregunto sobre la finura de rejilla óptima y cuál es la relación entre la finura de rejilla y el sobreajuste en métodos de regularización como LASSO, regresión de cresta o red elástica. Supongamos que quiero ajustar un modelo de regresión usando LASSO a una muestra de 500 observaciones (no …

8 lasso  regularization  ridge-regression  overfitting  elastic-net 

Digamos que sabemos la media de una distribución dada. ¿Afecta esto la estimación del intervalo de la varianza de una variable aleatoria (que de otro modo se calcula utilizando la varianza de la muestra)? Como en, ¿podemos obtener un intervalo más pequeño para el mismo nivel de confianza?

8 normal-distribution  confidence-interval  variance 

Tengo un conjunto de datos x, y que estoy usando para construir un bosque aleatorio. Los datos x son un vector de valores que incluye algunos NA. Así que solía rfImputemanejar los datos faltantes y crear un bosque aleatorio. Ahora tengo una nueva observación invisible x (con un NA) y …

8 r  random-forest  missing-data 

Supongamos que tengo un resultado continuo yy dos predictores factoriales, cada uno con dos niveles. Uno de mis predictores categóricos drug, puede tener dos niveles ("A" o "B"), el otro es smokeYes. Cuando ejecuto un modelo de regresión, puedo elegir la línea base o el nivel de referencia drugpara que …

8 regression  anova  multiple-regression  contrasts