Estadísticas y Big Data

¿Cuál es la mejor técnica para calcular un intervalo de confianza de un experimento binomial, si su estimación es que (o similarmente ) y el tamaño de la muestra es relativamente pequeño, por ejemplo ?p = 1 n = 25p = 0pags=0 0p=0p = 1pags=1p=1n = 25norte=25n=25

36 confidence-interval  binomial 

Estoy leyendo un libro sobre regresión lineal y tengo algunos problemas para comprender la matriz de varianza-covarianza de bb\mathbf{b} : Los elementos diagonales son bastante fáciles, pero los no diagonales son un poco más difíciles, lo que me desconcierta es que σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1 \sigma(b_0, b_1) = E(b_0 b_1) - E(b_0)E(b_1) = …

36 regression 

Digamos que tenemos una variable dependiente con pocas categorías y un conjunto de variables independientes. YYY ¿Cuáles son las ventajas de la regresión logística multinomial sobre el conjunto de regresiones logísticas binarias (es decir, esquema de uno contra el resto )? Por conjunto de regresión logística binaria quiero decir que …

36 logistic  categorical-data  multinomial 

plot(density(rexp(100)) Obviamente, toda la densidad a la izquierda de cero representa sesgo. Estoy buscando resumir algunos datos para los no estadísticos, y quiero evitar preguntas sobre por qué los datos no negativos tienen densidad a la izquierda de cero. Las parcelas son para verificación de aleatorización; Quiero mostrar las distribuciones …

36 r  pdf  gamma-distribution  kernel-smoothing 

Recientemente me encontré con el artículo "La insignificancia de las pruebas de significación de hipótesis nulas", Jeff Gill (1999) . El autor planteó algunas ideas falsas comunes con respecto a la prueba de hipótesis y los valores p, sobre los cuales tengo dos preguntas específicas: El valor p es técnicamente …

36 hypothesis-testing  p-value 

Quiero usar Lazo o regresión de cresta para un modelo con más de 50,000 variables. Quiero hacerlo usando el paquete de software en R. ¿Cómo puedo estimar el parámetro de contracción ( λλ\lambda )? Ediciones: Este es el punto al que me levanté: set.seed (123) Y <- runif (1000) Xv …

36 r  lasso  ridge-regression  high-dimensional 

Una versión muy simple del teorema limitado central como se muestra a continuación que es Lindeberg – Lévy CLT. No entiendo por qué hay un en el lado izquierdo. Y Lyapunov CLT dice pero por qué no ? ¿Alguien me diría cuáles son estos factores, como y ? ¿Cómo los …

36 central-limit-theorem  intuition 

Es la temporada de admisión para las escuelas de posgrado. Yo (y muchos estudiantes como yo) ahora estoy tratando de decidir qué programa de estadísticas elegir. ¿Cuáles son algunas de las cosas que aquellos de ustedes que trabajan con estadísticas sugieren que consideremos sobre los programas de maestría en estadística? …

36 machine-learning  mathematical-statistics  careers 

Recientemente aprendí sobre un principio de razonamiento probabilístico llamado " explicar lejos ", y estoy tratando de captar una intuición para ello. Déjame configurar un escenario. Sea AAA el evento de que ocurra un terremoto. Que el evento BBB sea ​​el evento de que el gigante verde alegre pasee por …

36 probability  intuition 

Tengo una pequeña lista de compañías que proporcionan una plataforma para ejecutar scripts de R, python u octava en clústeres creados sobre Amazon EC2. ¿Hay otros nombres que debo agregar? Números de nubes Opani crdata

36 r  machine-learning 

¿Busqué en muchos sitios web para saber qué hará exactamente el ascensor? Los resultados que encontré fueron sobre usarlo en aplicaciones, no en sí mismo. Sé sobre la función de soporte y confianza. Desde Wikipedia, en la minería de datos, el levantamiento es una medida del rendimiento de un modelo …

36 data-mining 

Si XXX se distribuye N(μX,σ2X)N(μX,σX2)N(\mu_X, \sigma^2_X) , YYY se distribuye y , sé que se distribuye si X e Y son independientes.N(μY,σ2Y)N(μY,σY2)N(\mu_Y, \sigma^2_Y)Z=X+YZ=X+YZ = X + YZZZN(μX+μY,σ2X+σ2Y)N(μX+μY,σX2+σY2)N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y) Pero, ¿qué pasaría si X e Y no fueran independientes, es decir (X,Y)≈N((μXμY),(σ2XσX,YσX,Yσ2Y))(X,Y)≈N((μXμY),(σX2σX,YσX,YσY2))(X, Y) \approx N\big( (\begin{smallmatrix} \mu_X\\\mu_Y …

36 normal-distribution  mathematical-statistics 

Estoy buscando entrenar un clasificador que discrimine entre Type Ay Type Bobjetos con un conjunto de entrenamiento razonablemente grande de aproximadamente 10,000 objetos, de los cuales aproximadamente la mitad son Type Ay la otra mitad Type B. El conjunto de datos consta de 100 características continuas que detallan las propiedades …

36 r  machine-learning  random-forest 

Veo una regresión restringida similar aquí: Regresión lineal restringida a través de un punto específico Pero mi requisito es ligeramente diferente. Necesito los coeficientes para sumar 1. Específicamente, estoy retrocediendo los retornos de 1 serie de divisas frente a otras 3 series de divisas, para que los inversores puedan reemplazar …

36 r  regression 

Me gustaría medir el tiempo que lleva repetir la ejecución de una función. ¿Son replicate()y usan for-loops equivalentes? Por ejemplo: system.time(replicate(1000, f())); system.time(for(i in 1:1000){f()}); Cuál es el método preferido. En la salida de system.time(), ¿es sys+userel tiempo real de CPU para ejecutar el programa? ¿Es elapseduna buena medida del …

36 r