Estadísticas y Big Data

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema de Cross Validated. Cerrado hace 2 años . A veces necesito obtener solo la primera fila de un conjunto de datos agrupados por un …

14 r  dataset  aggregation  plyr 

Estoy luchando por encontrar un método para reducir el número de categorías en datos nominales u ordinales. Por ejemplo, supongamos que quiero construir un modelo de regresión en un conjunto de datos que tenga varios factores nominales y ordinales. Si bien no tengo problemas con este paso, a menudo me …

14 r  categorical-data  dimensionality-reduction  many-categories 

Paseo aleatorio Metropolis-Hasitings con propuesta simétrica q( x | y) = g( | y- x | )q(XEl |y)=sol(El |y-XEl |)q(x|y)= g(|y-x|) tiene la propiedad de que la probabilidad de aceptación PAG( a c c e p t y ) = min { 1 , f( y) / f( x ) …

14 mcmc  metropolis-hastings 

Estoy tratando de entender cómo funcionan las máquinas de Boltzmann, pero no estoy muy seguro de cómo se aprenden los pesos, y no he podido encontrar una descripción clara. ¿Es correcto lo siguiente? (Además, los consejos sobre cualquier buena explicación de la máquina Boltzmann también serían geniales). Tenemos un conjunto …

14 neural-networks 

Espero que esta no sea una pregunta tonta. Digamos que tengo una distribución continua arbitraria. También tengo una estadística, y me gustaría usar esta distribución arbitraria para obtener un valor p para esta estadística. Me doy cuenta de que en R es fácil hacer esto siempre que su distribución se …

14 r  distributions  p-value 

Es fácil producir una variable aleatoria con distribución de Dirichlet usando variables Gamma con el mismo parámetro de escala. Si: Xi∼Gamma(αi,β)Xi∼Gamma(αi,β) X_i \sim \text{Gamma}(\alpha_i, \beta) Luego: (X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn)(X1∑jXj,…,Xn∑jXj)∼Dirichlet(α1,…,αn) \left(\frac{X_1}{\sum_j X_j},\; \ldots\; , \frac{X_n}{\sum_j X_j}\right) \sim \text{Dirichlet}(\alpha_1,\;\ldots\;,\alpha_n) Problema ¿Qué sucede si los parámetros de la escala no son iguales? Xi∼Gamma(αi,βi)Xi∼Gamma(αi,βi) X_i \sim …

14 expected-value  dirichlet-distribution  gamma-distribution  integral 

Me gustaría aprender un poco más sobre la visualización interactiva de datos (zoom, apuntar, pincel, mapeo de puntos, etc.). Agradecería cualquier: Tutorial / guía / libro (?) / Video sobre cómo usar dichos métodos para la exploración estadística. Punteros para paquetes de datos interactivos buenos / interesantes (en R y …

14 data-visualization  interactive-visualization 

Supongamos que quiero construir un clasificador binario. Tengo varios miles de funciones y solo unas pocas decenas de muestras. Desde el conocimiento del dominio, tengo una buena razón para creer que la etiqueta de clase se puede predecir con precisión utilizando sólo unas pocas características, pero no tengo ni idea …

14 regression  logistic  multiple-comparisons  stepwise-regression 

Un experimento de detección de señal generalmente presenta al observador (o sistema de diagnóstico) con una señal o sin señal, y se le pide al observador que informe si cree que el elemento presentado es una señal o no señal. Tales experimentos producen datos que llenan una matriz de 2x2: …

14 diagnostic  signal-detection 

En un artículo reciente, instalé un modelo de efectos fijos de tres vías. Como uno de los factores no era significativo (p> 0.1), lo eliminé y volví a instalar el modelo con dos efectos fijos y una interacción. Acabo de recibir comentarios de los árbitros, para citar: Ese tiempo no …

14 anova  fixed-effects-model 

¿Alguien sabe de algún código bien escrito (en Matlab o R) para MCMC de salto reversible? Preferiblemente, una aplicación de demostración simple para complementar los documentos sobre el tema, que sería útil para comprender el proceso.

14 r  matlab  references  mcmc 

En R, el drop1comando genera algo ordenado. Estos dos comandos deberían obtener algún resultado: example(step)#-> swiss drop1(lm1, test="F") El mío se ve así: > drop1(lm1, test="F") Single term deletions Model: Fertility ~ Agriculture + Examination + Education + Catholic + Infant.Mortality Df Sum of Sq RSS AIC F value Pr(F) …

14 r  regression  self-study  stepwise-regression 

El contexto de esta pregunta está dentro de un marco de salud, es decir, examinando una o más terapias en el tratamiento de una afección. Parece que incluso los investigadores respetados confunden los términos eficacia y efectividad , usando los términos indistintamente. ¿Cómo se puede pensar en eficacia versus efectividad …

14 epidemiology  causality  clinical-trials  definition  instrumental-variables 

La mayoría de los resultados asintóticos en las estadísticas demuestran que como un estimador (como el MLE) converge a una distribución normal basada en una expansión taylor de segundo orden de la función de probabilidad. Creo que hay un resultado similar en la literatura bayesiana, el "Teorema del límite central …

14 mathematical-statistics  asymptotics  saddlepoint-approximation 

Estoy analizando las redes sociales (no virtuales) y estoy observando las conexiones entre las personas. Si una persona eligiera a otra persona para conectarse aleatoriamente, la cantidad de conexiones dentro de un grupo de personas se distribuiría normalmente, al menos de acuerdo con el libro que estoy leyendo actualmente. ¿Cómo …

14 distributions  networks  central-limit-theorem