Estadísticas y Big Data

Tenemos datos con un resultado binario y algunas covariables. Usé regresión logística para modelar los datos. Solo un simple análisis, nada extraordinario. Se supone que el resultado final es una curva de dosis-respuesta donde mostramos cómo cambia la probabilidad para una covariable específica. Algo como esto: Recibimos algunas críticas de …

12 regression  logistic  generalized-linear-model  binary-data 

Supongamos que tengo un momento conjunto que genera la función para una distribución conjunta con CDF F X , Y ( x , y ) . Es M X , Y ( s , t ) = M X , Y ( s , 0 ) ⋅ M X , …

12 probability  independence  joint-distribution  mgf 

En el teorema bayesiano, , y del libro que estoy leyendo,p(x|y)se llamaprobabilidad, pero supongo que es solo laprobabilidad condicionaldexdadoy, ¿verdad?p(y|x)=p(x|y)p(y)p(x)p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p(x|y)p(x|y)p(x|y)xxxyyy La estimación de máxima verosimilitud intenta maximizar , ¿verdad? Si es así, estoy muy confundido, porque x , y son variables aleatorias, ¿verdad? Para maximizar p ( x …

12 bayesian  maximum-likelihood 

Estoy ajustando curvas a mis datos para extraer un parámetro. Sin embargo, no estoy seguro de cuál es la certeza de ese parámetro y cómo calcularía / expresaría su intervalo de confianza del %.959595 Digamos que para un conjunto de datos que contiene datos que decae exponencialmente, ajusto una curva …

12 confidence-interval  nonlinear-regression  fitting 

¿Cómo calcular la incertidumbre de la pendiente de regresión lineal en función de la incertidumbre de los datos (posiblemente en Excel / Mathematica)? Ejemplo: tengamos puntos de datos (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16), pero cada valor y tiene una incertidumbre de 4. La mayoría de las funciones …

12 regression  uncertainty 

El muestreo con reemplazo tiene dos ventajas sobre el muestreo sin reemplazo como lo veo: 1) No necesita preocuparse por la corrección de población finita. 2) Existe la posibilidad de que los elementos de la población se extraigan varias veces, luego puede reciclar las mediciones y ahorrar tiempo. Por supuesto, …

12 sampling  finite-population 

Supongo que entiendo la ecuación de la condición de equilibrio detallado, que establece que para la probabilidad de transición y la distribución estacionaria , una cadena de Markov satisface el equilibrio detallado siqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), Esto tiene más sentido para mí si lo reformulo como: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. Básicamente, la probabilidad de transición …

12 probability  mcmc  markov-process 

¿Cómo se realizan las pruebas de hipótesis con Big Data? Escribí el siguiente script de MATLAB para enfatizar mi confusión. Todo lo que hace es generar dos series aleatorias y ejecutar una regresión lineal simple de una variable sobre la otra. Realiza esta regresión varias veces utilizando diferentes valores aleatorios …

12 hypothesis-testing  large-data 

¿Wikipedia está mal ... o no lo entiendo? Wikipedia: Los cuadrados blanco y negro ("patrón de ajedrez") están perfectamente dispersos, por lo que el de Moran sería −1. Si los cuadrados blancos se apilaran en la mitad del tablero y los cuadrados negros en la otra, el de Moran estaría …

12 r  autocorrelation  spatial  pattern-recognition 

¿Cuál es el rango de correlaciones alcanzables para el par de variables aleatorias distribuidas exponencialmente y , donde son los parámetros de velocidad?X1∼Exp(λ1)X1∼Exp(λ1)X_1 \sim {\rm Exp}(\lambda_1)X2∼Exp(λ2)X2∼Exp(λ2)X_2 \sim {\rm Exp}(\lambda_2)λ1,λ2>0λ1,λ2>0\lambda_1, \lambda_2 > 0

12 correlation  exponential 

Edición importante: Me gustaría dar las gracias a Dave y Nick hasta ahora por sus respuestas. La buena noticia es que obtuve el bucle para trabajar (principio prestado de la publicación del Prof. Hydnman sobre pronóstico de lotes). Para consolidar las consultas pendientes: a) ¿Cómo puedo aumentar la cantidad máxima …

12 forecasting  arima  predictor  seasonality  multiple-seasonalities 

Me preguntaba cómo se define su "proceso estacionario de segundo orden" en la Introducción a las series de tiempo y pronósticos de Brockwell y Davis : La clase de modelos de series temporales lineales, que incluye la clase de modelos de media móvil autorregresiva (ARMA), proporciona un marco general para …

12 time-series 

Tengo una regresión lineal que es bastante buena, supongo (es para un proyecto universitario, así que realmente no tengo que ser súper precisa). El punto es que si trazo los residuos frente a los valores pronosticados, hay (según mi maestro) un indicio de heterocedasticidad. Pero si trazo el QQ-Plot de …

12 regression  normal-distribution  residuals  heteroscedasticity 

Estoy tratando de averiguar exactamente cuál es la diferencia entre las pruebas y las pruebas .tttzzz Por lo que puedo decir, para ambas clases de pruebas uno usa la misma estadística de prueba, algo de la forma b^−Cseˆ(b^)b^−Cse^(b^)\frac{\hat{b} - C}{\widehat{\operatorname{se}}(\hat{b})} donde es una estadística de muestra, es una constante de …

12 hypothesis-testing  t-test  small-sample 

El paquete MARSS en R ofrece una función para el análisis de factor dinámico. En este paquete, el modelo de factor dinámico se escribe como una forma especial de modelo de espacio de estado y asumen que las tendencias comunes siguen el proceso AR (1). Como no estoy muy familiarizado …

12 r  time-series  forecasting  factor-analysis  state-space-models