Estadísticas y Big Data

Estoy usando el paquete quantreg para hacer un modelo de regresión usando el percentil 99 de mis valores en un conjunto de datos. Basado en el consejo de una pregunta anterior de stackoverflow que hice, utilicé la siguiente estructura de código. mod <- rq(y ~ log(x), data=df, tau=.99) pDF <- …

10 regression  logarithm 

Me gustaría obtener una representación gráfica de las correlaciones en los artículos que he reunido hasta ahora para explorar fácilmente las relaciones entre las variables. Solía ​​dibujar un gráfico (desordenado) pero ahora tengo demasiados datos. Básicamente, tengo una mesa con: [0]: nombre de la variable 1 [1]: nombre de la …

10 r  data-visualization  correlation 

ACTUALIZACIÓN: caret ahora se usa foreachinternamente, por lo que esta pregunta ya no es realmente relevante. Si puede registrar un backend paralelo que funcione foreach, caret lo usará. Tengo el paquete de caret para R, y estoy interesado en usar la trainfunción para validar de forma cruzada mis modelos. Sin …

10 r  parallel-computing 

Le agradecería mucho su consejo sobre el siguiente problema: Tengo un gran conjunto de datos continuo con muchos ceros (~ 95%) y necesito encontrar la mejor manera de probar si ciertos subconjuntos son "interesantes", es decir, no parecen extraídos de la misma distribución que el resto. La inflación cero proviene …

10 hypothesis-testing 

Tengo un histograma de datos de velocidad del viento que a menudo se representa usando una distribución weibull. Me gustaría calcular la forma weibull y los factores de escala que dan el mejor ajuste al histograma. Necesito una solución numérica (a diferencia de las soluciones gráficas ) porque el objetivo …

10 distributions  histogram  java 

Digamos que estoy retrocediendo Y en X1 y X2, donde X1 es una variable numérica y X2 es un factor con cuatro niveles (A: D). ¿Hay alguna forma de escribir la función de regresión lineal lm(Y ~ X1 + as.factor(X2))para que pueda elegir un nivel particular de X2, por ejemplo, …

10 r 

Estoy terminando un análisis de un gran conjunto de datos. Me gustaría tomar el modelo lineal utilizado en la primera parte del trabajo y volver a ajustarlo usando un modelo lineal mixto (LME). El LME sería muy similar con la excepción de que una de las variables utilizadas en el …

10 r  regression  hypothesis-testing  mixed-model  lme4-nlme 

Estoy trabajando en un proyecto de investigación relacionado con la optimización y recientemente tuve la idea de utilizar MCMC en este entorno. Desafortunadamente, soy bastante nuevo en los métodos MCMC, así que tuve varias preguntas. Comenzaré describiendo el problema y luego haciendo mis preguntas. Nuestro problema se reduce a estimar …

10 sampling  mcmc  matlab  expected-value 

Necesito crear vectores aleatorios de números reales a_i que satisfagan las siguientes restricciones: abs(a_i) < c_i; sum(a_i)< A; # sum of elements smaller than A sum(b_i * a_i) < B; # weighted sum is smaller than B aT*A*a < D # quadratic multiplication with A smaller than D where c_i, …

10 random-generation 

Para algunos algoritmos de reconstrucción de volumen en los que estoy trabajando, necesito detectar un número arbitrario de patrones circulares en datos de puntos 3D (provenientes de un dispositivo LIDAR). Los patrones se pueden orientar arbitrariamente en el espacio y se supone que se encuentran (aunque no perfectamente) en planos …

10 clustering  image-processing 

Resuelvo los cubos de Rubik como un hobby. Grabo el tiempo que me llevó resolver el cubo usando algún software, y ahora tengo datos de miles de soluciones. Los datos son básicamente una larga lista de números que representan el tiempo que tomó cada resolución secuencial (por ejemplo, 22.11, 20.66, …

10 probability 

Estoy tratando de implementar un algoritmo EM para el siguiente modelo de análisis factorial; Wj= μ + B aj+ ejparaj = 1 , ... , nWj=μ+Baj+ejforj=1,…,nW_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n donde es un vector aleatorio p-dimensional, a j es un vector q-dimensional de variables latentes y B es una …

10 factor-analysis  expectation-maximization 

¿Por qué no recordar tener en cuenta los verdaderos negativos? En experimentos donde los verdaderos negativos son tan importantes como los verdaderos positivos, ¿es una métrica comparable que lo tenga en cuenta?

10 precision-recall 

Me preguntaba si alguien podría ayudarme con información sobre Kurtosis (es decir, ¿hay alguna forma de transformar sus datos para reducirlos?) Tengo un conjunto de datos de cuestionarios con una gran cantidad de casos y variables. Para algunas de mis variables, los datos muestran valores de curtosis bastante altos (es …

10 distributions  assumptions  kurtosis  discriminant-analysis  parametric 

Los recientes acontecimientos en Japón me han hecho pensar en lo siguiente. Las plantas nucleares generalmente están diseñadas para limitar el riesgo de accidentes graves a una "probabilidad básica de diseño", por ejemplo, 10E-6 / año. Este es el criterio para una sola planta. Sin embargo, cuando hay una población …

10 probability