Estadísticas y Big Data

Tengo el siguiente conjunto de datos simple con dos variables continuas; es decir: d = data.frame(x=runif(100,0,100),y = runif(100,0,100)) plot(d$x,d$y) abline(lm(y~x,d), col="red") cor(d$x,d$y) # = 0.2135273 Necesito reorganizar los datos para que la correlación entre las variables sea ~ 0.6. Necesito mantener constantes las medias y otras estadísticas descriptivas (sd, min, …

9 r  correlation 

En el Análisis de supervivencia, se supone que el tiempo de supervivencia de un rv XyoXiX_i se distribuye exponencialmente. Considerando ahora que tengo "resultados" de iid rv's . De hecho, solo una parte de estos resultados está "plenamente realizada", es decir, las observaciones restantes aún están "vivas".X1, ... , xnortex1,…,xnx_1,\dots,x_nXyoXiX_i …

9 maximum-likelihood  references  survival  censoring  exponential-family 

Tengo dos variables normalmente distribuidas X1X1X_1 y X2X2X_2 con media cero y matriz de covarianza ΣΣ\Sigma . Estoy interesado en tratar de calcular el valor de E[X21X22]mi[X12X22]E[X_1^2 X_2^2] en términos de las entradas de ΣΣ\Sigma . Usé la ley de probabilidad total para obtener pero no estoy seguro de a …

9 normal-distribution  conditional-expectation 

Estoy tratando de estimar el efecto promedio del tratamiento a partir de datos de observación utilizando la ponderación de puntaje de propensión (específicamente IPTW). Creo que estoy calculando el ATE correctamente, pero no sé cómo calcular el intervalo de confianza del ATE teniendo en cuenta los pesos del puntaje de …

9 r  survey  causality  propensity-scores  observational-study 

En el análisis de regresión multivariante, parece que las personas usan diferentes definiciones de odds ratios ajustados. ¿Podría aclararme qué es un OR ajustado y cómo difiere de un OR no ajustado ? ¡Gracias!

9 regression  multivariate-analysis  odds-ratio 

Tengo una muestra de 250 unidades. La distribución es asimétrica. Quiero probar una hipótesis de que la mediana de la población es diferente de 3.5, por lo que creo que una prueba de una muestra sería apropiada. Sé que la prueba de rango de Wilcoxon no es apropiada porque la …

9 hypothesis-testing  median 

Tengo datos del siguiente diseño experimental: mis observaciones son recuentos del número de éxitos ( K) del número correspondiente de ensayos ( N), medidos para dos grupos, cada uno compuesto de Iindividuos, de Ttratamientos, donde en cada combinación de factores hay Rréplicas . Por lo tanto, en total tengo 2 …

9 r  generalized-linear-model  heteroscedasticity  log-linear  dglm 

Markov Chain Monte Carlo es un método basado en cadenas de Markov que nos permite obtener muestras (en un entorno de Monte Carlo) a partir de distribuciones no estándar de las que no podemos extraer muestras directamente. Mi pregunta es por qué la cadena de Markov es "lo último en …

9 sampling  mcmc  monte-carlo  markov-chain  stochastic-approximation 

Un instructor en mi universidad planteó una pregunta como esta (no para la tarea ya que la clase terminó y yo no estaba en ella). No puedo entender cómo abordarlo. La pregunta se refiere a 2 bolsas que contienen una variedad de diferentes tipos de frutas: La primera bolsa contiene …

9 regression  estimation 

En la página 180 de Robust Statistics: el enfoque basado en las funciones de influencia, se encuentra la siguiente pregunta: 16: Demuestre que para estimadores invariantes de ubicación siempre ε∗≤12ε∗≤12\varepsilon^*\leq\frac{1}{2} . Encuentre el límite superior correspondiente en el punto de ruptura de la muestra finitaε∗nεn∗\varepsilon^*_n , ambos en el caso …

9 self-study  robust 

Hace años encontré esta identidad a través de la experimentación jugando con datos y transformaciones. Después de explicárselo a mi profesor de estadística, llegó a la siguiente clase con una prueba de una página usando notación vectorial y matricial. Lamentablemente perdí el papel que me dio. (Esto fue en 2007) …

9 regression  r-squared 

Uno de los métodos de evaluación para ImageNet Competition (clasificar imágenes de 1,000 categorías) es el error de top 5, ¿qué significa eso? Ver: http://www.image-net.org/challenges/LSVRC/

9 machine-learning  classification  computer-vision 

En un modelo mixto lineal generalizado logístico (familia = binomio), no sé cómo interpretar la varianza de los efectos aleatorios: Random effects: Groups Name Variance Std.Dev. HOSPITAL (Intercept) 0.4295 0.6554 Number of obs: 2275, groups: HOSPITAL, 14 ¿Cómo interpreto este resultado numérico? Tengo una muestra de pacientes trasplantados renales en …

9 r  lme4-nlme 

Estoy tratando de generar una matriz de correlación (psd simétrica) con una estructura de dispersión preespecificada (especificada por un gráfico en nodos). Los nodos que están conectados en el gráfico tienen correlación , el resto todos son 0 y la diagonal es 1.p×pp×pp\times ppppρ∼U(0,1)ρ∼U(0,1)\rho \sim U(0,1) He intentado generar esta …

9 correlation  matrix  sparse  correlation-matrix 

El libro "Introducción al aprendizaje automático" de Ethem Alpaydın afirma que la dimensión VC de un rectángulo alineado a ejes es 4. Pero, ¿cómo puede un rectángulo romper un conjunto de cuatro puntos colineales con puntos alternativos positivos y negativos? ¿Alguien puede explicar y probar la dimensión VC de un …

9 classification  vc-dimension