Estadísticas y Big Data

He estado mirando numerosas preguntas en este sitio sobre el arranque y los intervalos de confianza, pero todavía estoy confundido. Probablemente, parte de la razón de mi confusión es que no estoy lo suficientemente avanzado en mi conocimiento de estadísticas para comprender muchas de las respuestas. Estoy a mitad de …

38 confidence-interval  bootstrap 

Si la regresión polinómica modela relaciones no lineales, ¿cómo puede considerarse un caso especial de regresión lineal múltiple? Wikipedia señala que "Aunque la regresión polinómica ajusta un modelo no lineal a los datos, como problema de estimación estadística es lineal, en el sentido de que la función de regresión es …

38 regression  multiple-regression  linear-model  nonlinear-regression  polynomial 

El estimador de regresión cuantil condicional de Koenker y Basset (1978) para el cuantil se define como donde \ rho_ \ tau = u_i \ cdot (\ tau - 1 (u_i <0)) es una función de re-ponderación (llamada función de "verificación") de los residuos u_i .τthτth\tau^{th} βˆQR=minb∑i=1nρτ(yi−X′ibτ)β^QR=minb∑i=1nρτ(yi−Xi′bτ) \widehat{\beta}_{QR} = \min_{b} …

38 quantile-regression 

Estoy haciendo una regresión multivariada de Cox, tengo mis variables independientes significativas y valores beta. El modelo se ajusta muy bien a mis datos. Ahora, me gustaría usar mi modelo y predecir la supervivencia de una nueva observación. No tengo claro cómo hacer esto con un modelo de Cox. En …

38 regression  survival  prediction  cox-model 

Los clasificadores ingenuos de Bayes son una opción popular para los problemas de clasificación. Hay muchas razones para esto, que incluyen: "Zeitgeist": conciencia generalizada después del éxito de los filtros de spam hace aproximadamente diez años Fácil de escribir El modelo clasificador es rápido de construir El modelo se puede …

38 classification  naive-bayes 

Sé que con un modelo que no es identificable, se puede decir que los datos son generados por múltiples asignaciones diferentes a los parámetros del modelo. Sé que a veces es posible restringir los parámetros para que todos sean identificables, como en el ejemplo de Cassella & Berger, segunda edición, …

38 identifiability 

Quiero buscar un archivo .rda (conjunto de datos R). Sé sobre el View(datasetname)comando. El R.app predeterminado que viene para Mac no tiene un navegador de datos muy bueno (abre una ventana en X11). Me gusta el navegador de datos RStudio que se abre con el Viewcomando. Sin embargo, muestra solo …

38 r 

He notado que en R, Poisson y las regresiones binomiales negativas (NB) siempre parecen ajustarse a los mismos coeficientes para predictores categóricos, pero no continuos. Por ejemplo, aquí hay una regresión con un predictor categórico: data(warpbreaks) library(MASS) rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson") rs2 = glm.nb(breaks ~ tension, data=warpbreaks) …

38 regression  negative-binomial  poisson-regression 

¿Existen fórmulas bien conocidas para las estadísticas de orden de ciertas distribuciones aleatorias? Particularmente las estadísticas de primer y último orden de una variable aleatoria normal, pero también se agradecería una respuesta más general. Editar: para aclarar, estoy buscando fórmulas aproximadas que puedan evaluarse más o menos explícitamente, no la …

38 distributions  normal-distribution  approximation  order-statistics 

Tengo un conjunto de datos de series de tiempo. Cada serie cubre el mismo período, aunque las fechas reales en cada serie de tiempo pueden no "alinearse" exactamente. Es decir, si las series temporales se leyeran en una matriz 2D, se vería así: date T1 T2 T3 .... TN 1/1/01 …

38 r  time-series  clustering  cointegration 

Estoy intentando ejecutar una regresión de OLS: DV: cambio de peso durante un año (peso inicial - peso final) IV: Si haces ejercicio o no. Sin embargo, parece razonable que las personas más pesadas pierdan más peso por unidad de ejercicio que las personas más delgadas. Por lo tanto, quería …

38 regression  repeated-measures  least-squares  change-scores 

¿Cuál es la relación entre YYY y XXX en la siguiente gráfica? En mi opinión, existe una relación lineal negativa, pero debido a que tenemos muchos valores atípicos, la relación es muy débil. Estoy en lo cierto? Quiero aprender cómo podemos explicar diagramas de dispersión.

38 self-study  correlation  scatterplot 

En las estadísticas frecuentistas, existe una estrecha conexión entre los intervalos de confianza y las pruebas. Usando la inferencia sobre en la distribución como ejemplo, el intervalo de confianza \ bar {x} \ pm t _ {\ alpha / 2} (n-1) \ cdot s / \ sqrt {n} contiene todos …

38 hypothesis-testing  bayesian  confidence-interval  frequentist  credible-interval 

Estoy modelando una variable aleatoria ( ) que es la suma de unas ~ 15-40k variables aleatorias de Bernoulli independientes ( ), cada una con una probabilidad de éxito diferente ( ). Formalmente, donde y \ Pr (X_i = 0) = 1-p_i .YYYXiXiX_ipipip_iY=∑XiY=∑XiY=\sum X_iPr(Xi=1)=piPr(Xi=1)=pi\Pr(X_i=1)=p_iPr(Xi=0)=1−piPr(Xi=0)=1−pi\Pr(X_i=0)=1-p_i Estoy interesado en responder rápidamente consultas …

38 r  distributions  binomial  random-variable  poisson-binomial 

Me gustaría poder generar eficientemente matrices de correlación semidefinidas positivas (PSD). Mi método se ralentiza dramáticamente a medida que aumento el tamaño de las matrices que se generarán. ¿Podría sugerir alguna solución eficiente? Si conoce algún ejemplo en Matlab, estaría muy agradecido. Al generar una matriz de correlación PSD, ¿cómo …

38 random-generation  correlation-matrix