Estadísticas y Big Data

Estoy a punto de probar un entorno de estilo BUGS para estimar modelos bayesianos. ¿Hay alguna ventaja importante a considerar al elegir entre OpenBugs o JAGS? ¿Es probable que uno reemplace al otro en el futuro previsible? Usaré el Gibbs Sampler elegido con R. Todavía no tengo una aplicación específica, …

41 r  software  bugs  jags  gibbs 

Al transformar variables, ¿tiene que usar la misma transformación? Por ejemplo, ¿puedo elegir y elegir variables transformadas de manera diferente, como en: Sea edad, la duración del empleo, la duración de la residencia y los ingresos.x1,x2,x3x1,x2,x3x_1,x_2,x_3 Y = B1*sqrt(x1) + B2*-1/(x2) + B3*log(x3) O, ¿debe ser coherente con sus transformaciones …

41 r  regression  logistic  data-transformation 

He leído / escuchado muchas veces que el tamaño de la muestra de al menos 30 unidades se considera como "muestra grande" (los supuestos de normalidad de los medios generalmente se mantienen aproximadamente debido al CLT, ...). Por lo tanto, en mis experimentos, generalmente genero muestras de 30 unidades. ¿Puede …

41 references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb 

Sé de las pruebas de normalidad, pero ¿cómo pruebo el "Poisson-ness"? Tengo una muestra de ~ 1000 enteros no negativos, que sospecho que se tomaron de una distribución de Poisson, y me gustaría probar eso.

41 hypothesis-testing  distributions  poisson-distribution  goodness-of-fit 

Suponga que se le dan dos objetos cuyas ubicaciones exactas se desconocen, pero se distribuyen de acuerdo con distribuciones normales con parámetros conocidos (por ejemplo, y b ∼ N ( v , t ) ) . Podemos suponer estos son ambos normales bivariantes, de manera que las posiciones se describen …

41 normal-distribution  distance-functions 

Si nos fijamos en Wolfram Alpha O esta página de Wikipedia Lista de países por edad promedio Claramente, la mediana parece ser la estadística de elección cuando se trata de edades. No puedo explicarme por qué la media aritmética sería una estadística peor. ¿Por que es esto entonces? Originalmente publicado …

41 mean  median 

Si dos variables tienen correlación 0, ¿por qué no son necesariamente independientes? ¿Las variables con correlación cero son independientes en circunstancias especiales? Si es posible, estoy buscando una explicación intuitiva, no muy técnica.

41 correlation  independence 

Estoy ejecutando la clasificación en Weka para un determinado conjunto de datos y he notado que si estoy tratando de predecir un valor nominal, la salida muestra específicamente los valores predichos de forma correcta e incorrecta. Sin embargo, ahora lo estoy ejecutando para un atributo numérico y el resultado es: …

41 machine-learning  error  weka  mse  rms 

Actualmente estoy revisando la búsqueda aleatoria de Bengio y Bergsta para la optimización de hiperparámetros [1], donde los autores afirman que la búsqueda aleatoria es más eficiente que la búsqueda de cuadrícula para lograr un rendimiento aproximadamente igual. Mi pregunta es: ¿la gente aquí está de acuerdo con esa afirmación? …

41 machine-learning  hyperparameter  optimization 

¿Existe una gran diferencia entre una distribución normal y una gaussiana? He visto muchos artículos que los usan sin distinción, y generalmente también me refiero a ellos como la misma cosa. Sin embargo, mi IP recientemente me dijo que lo normal es el caso específico de Gauss con media = …

41 normal-distribution  terminology 

Me gustaría saber cómo interpretar una diferencia de valores de medida f. Sé que la medida f es una media equilibrada entre precisión y recuperación, pero estoy preguntando sobre el significado práctico de una diferencia en las medidas F. Por ejemplo, si un clasificador C1 tiene una precisión de 0.4 …

41 classification  precision-recall 

Supongamos que y son función de densidad y función de distribución de la distribución normal estándar.ϕ(⋅)ϕ(⋅)\phi(\cdot)Φ(⋅)Φ(⋅)\Phi(\cdot) ¿Cómo se puede calcular la integral? ∫∞−∞Φ(w−ab)ϕ(w)dw∫−∞∞Φ(w−ab)ϕ(w)dw\int^{\infty}_{-\infty}\Phi\left(\frac{w-a}{b}\right)\phi(w)\,\mathrm dw

41 mathematical-statistics  normal-distribution  integral 

Tengo algunos problemas con la derivación de la solución para la regresión de crestas. Sé la solución de regresión sin el término de regularización: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Pero después de agregar el término L2 a la función de costo, ¿cómo es que la solución se convierte enλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX …

41 regression  least-squares  regularization  ridge-regression 

Admito que soy relativamente nuevo en los puntajes de propensión y el análisis causal. Una cosa que no es obvia para mí como recién llegado es cómo el "equilibrio" usando puntajes de propensión es matemáticamente diferente de lo que sucede cuando agregamos covariables en una regresión. ¿Qué tiene de diferente …

41 regression  multivariate-analysis  causality  propensity-scores 

Específicamente, supongo que me pregunto acerca de esta declaración: Las futuras versiones principales de TensorFlow permitirán que los gradientes fluyan a la entrada de etiquetas en backprop de forma predeterminada. Que se muestra cuando lo uso tf.nn.softmax_cross_entropy_with_logits. En el mismo mensaje me insta a echar un vistazo tf.nn.softmax_cross_entropy_with_logits_v2. Revisé la …

41 machine-learning  supervised-learning  tensorflow  backpropagation