Estadísticas y Big Data

Necesito "aprender" la distribución de un gaussiano bivariado con pocas muestras, pero una buena hipótesis sobre la distribución anterior, por lo que me gustaría utilizar el enfoque bayesiano. Definí mi anterior: P(μ)∼N(μ0,Σ0)P(μ)∼N(μ0,Σ0) \mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0}) μ0=[00] Σ0=[160027]μ0=[00] Σ0=[160027] \mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = …

15 distributions  bayesian  estimation  covariance  posterior 

El paquete de trazado R ggplot2 tiene una función asombrosa llamada stat_smooth para trazar una línea (o curva) de regresión con la banda de confianza asociada. Sin embargo, estoy teniendo dificultades para averiguar exactamente cómo se genera esta banda de confianza, para cada línea de regresión (o "método"). ¿Cómo puedo …

15 r  regression  confidence-interval  ggplot2 

El enfoque común para estimar los parámetros de una distribución normal es usar la media y la desviación / varianza estándar de la muestra. Sin embargo, si hay algunos valores atípicos, la mediana y la desviación media de la mediana deberían ser mucho más robustas, ¿verdad? En algunos conjuntos de …

15 normal-distribution  estimation  outliers  robust  unbiased-estimator 

Tengo una base de datos de eventos (es decir, una variable de fechas) y covariables asociadas. Los eventos son generados por el proceso no estacionario de Poisson con parámetros que son una función desconocida (pero posiblemente lineal) de algunas covariables. Creo que el paquete NHPoisson existe solo para este propósito; …

15 r  poisson-distribution  poisson-process 

He estado pensando en este problema. La función logística habitual para modelar datos binarios es: Sin embargo, ¿es la función logit, que es una curva en forma de S, siempre la mejor para modelar los datos? Tal vez tenga razones para creer que sus datos no siguen la curva en …

15 logistic  references  link-function 

¿Cuáles son los beneficios de especificar una estructura de covarianza en un GLM (en lugar de tratar todas las entradas fuera de la diagonal en la matriz de covarianza como cero)? Además de reflejar lo que uno sabe de los datos, ¿lo hace? mejorar la bondad de ajuste? mejorar la …

15 generalized-linear-model  covariance 

Estoy usando el paquete gbm para la clasificación. Como se esperaba, los resultados son buenos. Pero estoy tratando de entender la salida del clasificador. Hay cinco términos en la salida. `Iter TrainDeviance ValidDeviance StepSize Improve` ¿Alguien podría explicar el significado de cada término, especialmente el significado de Mejorar ?

15 r  machine-learning 

Encontré la transformación de estabilización de varianza mientras leía el método Kaggle Essay Eval . Utilizan una transformación de estabilización de varianza para transformar los valores de kappa antes de tomar su media y luego transformarlos nuevamente. Incluso después de leer el wiki sobre transformaciones de estabilización de varianza que …

15 variance  mathematical-statistics 

MAD = Desviación absoluta media MSE = Error cuadrado medio He visto sugerencias de varios lugares sobre el uso de MSE a pesar de algunas cualidades indeseables (por ejemplo , http://www.stat.nus.edu.sg/~staxyc/T12.pdf , que establece en p8 "Se cree comúnmente que MAD es un criterio mejor que MSE. Sin embargo, matemáticamente …

15 forecasting  error  mse  mae 

Estoy tratando de usar Regresión forestal aleatoria en scikits-learn. El problema es que recibo un error de prueba muy alto: train MSE, 4.64, test MSE: 252.25. Así es como se ven mis datos: (azul: datos reales, verde: predicho): Estoy usando 90% para entrenamiento y 10% para prueba. Este es el …

15 regression  random-forest  scikit-learn 

Uno de los problemas que siempre he tenido con los modelos mixtos es descubrir visualizaciones de datos, del tipo que podría terminar en un papel o póster, una vez que uno tiene los resultados. En este momento, estoy trabajando en un modelo de efectos mixtos de Poisson con una fórmula …

15 r  data-visualization  mixed-model 

Recientemente, un cliente vino a mí para hacer un análisis de arranque porque un revisor de la FDA dijo que su regresión de errores en variables no era válida porque al agrupar datos de sitios, el análisis incluía datos de tres sitios donde dos sitios incluían algunas muestras que estaban …

15 regression  errors-in-variables  deming-regression  pooling 

De la randona estadística de Wikipedia : La aleatoriedad global y la aleatoriedad local son diferentes. La mayoría de las concepciones filosóficas de la aleatoriedad son globales, porque se basan en la idea de que "a la larga" una secuencia se ve realmente aleatoria, incluso si ciertas subsecuencias no se …

15 mathematical-statistics  random-generation 

Estoy tomando un curso de postgrado en Estadística Aplicada que utiliza el siguiente libro de texto (para darle una idea del nivel del material que se está cubriendo): Conceptos y métodos estadísticos , por GK Bhattacharyya y RA Johnson. El profesor nos exige que usemos SAS para las tareas. Mi …

15 r  sas  java 

TLDR: Mi conjunto de datos es bastante pequeño (120) muestras. Mientras realizo la validación cruzada 10 veces, ¿debería: ¿Recolecta las salidas de cada pliegue de prueba, las concatena en un vector y luego calcula el error en este vector completo de predicciones (120 muestras)? O debería lugar calcular el error …

15 classification  cross-validation  small-sample