Estadísticas y Big Data

¿Alguien puede sugerir cómo puedo calcular el segundo momento (o la función generadora del momento completo) del coseno de dos vectores aleatorios gaussianos , cada uno distribuido como , independientes el uno del otro? IE, momento para la siguiente variable aleatoriax,yx,yx,yN(0,Σ)N(0,Σ)\mathcal N (0,\Sigma) ⟨x,y⟩∥x∥∥y∥⟨x,y⟩‖x‖‖y‖\frac{\langle x, y\rangle}{\|x\|\|y\|} La pregunta más cercana …

9 normal-distribution  mathematical-statistics  multivariate-analysis  circular-statistics  mgf 

He etiquetado los datos compuestos por 10000 ejemplos positivos y 50000 ejemplos negativos, dando un total de 60000 ejemplos. Obviamente estos datos están desequilibrados. Ahora digamos que quiero crear mi conjunto de validación, y quiero usar el 10% de mis datos para hacerlo. Mi pregunta es la siguiente: ¿Debo asegurarme …

9 machine-learning  neural-networks  cross-validation  dataset  unbalanced-classes 

Estoy tratando de demostrar o refutar que la diferencia entre la Correlación de Spearman y la Correlación de Kendall no es más de 1 (o menos, cuanto más estricta, mejor). Supongo que no hay vínculos. En un intento de refutar el resultado usando un ejemplo de contador, verifiqué todas las …

9 correlation  spearman-rho  kendall-tau 

A pesar de las similitudes básicas como ambos modelos, la probabilidad de éxito en lugar de modelar la variable de respuesta directamente; Creo que hay respuestas más confiables que señalan las diferencias y similitudes entre estos modelos. Una diferencia es que, en logística, se puede usar un tipo diferente y …

9 regression  logistic  mathematical-statistics  irt 

Me gustaría saber si la estadística está completa para en una configuración .T(X1, ... ,Xnorte) =∑nortei = 1(Xyo-X¯norte)2n - 1T(X1,…,Xn)=∑i=1n(Xi−X¯n)2n−1T(X_1,\ldots,X_n)=\frac{\sum_{i=1}^n (X_i-\bar{X}_n)^2}{n-1}σ2σ2\sigma^2norte( μ ,σ2)N(μ,σ2)N(\mu,\sigma^2) ¿Depende esto de si se conoce previamente o no? Si está completo para , entonces por Lehmann-Scheffé es UMVUE . Pero si se conociera \ mu , …

9 normal-distribution  estimation  inference  umvue 

Para las variables aleatorias independientes y , ¿existe una expresión de forma cerrada paraαα\alphaββ\beta E[αα2+β2√]E[αα2+β2]\mathbb E \left[ \frac{\alpha}{\sqrt{\alpha^2 + \beta^2}} \right] en términos de los valores esperados y las variaciones de y ? Si no, ¿hay un límite inferior bueno en esa expectativa?αα\alphaββ\beta Actualización: también puedo mencionar que y . …

9 probability  random-variable  expected-value  ratio 

Mientras leía los documentos de segmentación semántica, así como sus implementaciones correspondientes, descubrí que algunos enfoques usan softmax, mientras que otros usan sigmoide para el etiquetado a nivel de píxeles. Por ejemplo, con respecto al papel u-net , la salida es un mapa de características con dos canales. He visto …

9 machine-learning  deep-learning  computer-vision  tensorflow 

Tengo una pregunta generalmente básica que hacer aquí que me ha estado preocupando por un tiempo. A través de la mayoría de mis lecturas de estadísticas bayesianas, se afirmaba de hecho que la probabilidad marginal a menudo es intratable o difícil de estimar. ¿Por qué? Las razones a menudo expresadas …

9 bayesian  inference  likelihood 

Cerrada . Esta pregunta necesita estar más centrada . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que se centre en un problema solo editando esta publicación . Cerrado hace 3 años . A pesar del parecido y otros enfoques de variabilidad de datos cada …

9 machine-learning  classification  data-mining  supervised-learning  statistical-learning 

Tengo una pregunta básica sobre los enfoques para promediar modelos usando criterios de TI para ponderar modelos dentro de un conjunto de candidatos. La mayoría de las fuentes que he leído sobre promedios de modelos abogan por promediar las estimaciones de coeficientes de parámetros basadas en ponderaciones de modelos (ya …

9 mixed-model  model-averaging  forecast-combination 

Actualmente estoy estudiando sobre Regresión logística. Pero me estoy en el cálculo de la intercepción ( ) y el coeficiente ( ). Lo he estado buscando a través de Internet, pero solo obtengo tutoriales usando Microsoft Excel o funciones integradas en R. Escuché que se puede resolver con Maximum Likelihood, …

9 regression  machine-learning  logistic  maximum-likelihood 

Digamos que puedo conocer la SVD de alguna matriz XXX: X=USVTX=USVTX = USV^T Si tengo una matriz ortogonal AAA (es decir, AAA es cuadrado y tiene columnas ortonormales), entonces la SVD de XAXAXA es XA=USWTXA=USWTXA = USW^T dónde W=ATVW=ATVW = A^TV. Pero, ¿se puede decir algo sobre la SVD de …

9 pca  svd  matrix-decomposition 

Dado , ¿cuál es el comportamiento teórico de los coeficientes LASSO y por qué?x2=2x1x2=2x1x_2 = 2 x_1 ¿Uno de o reduciría a o ambos?x1x1x_1x2x2x_2000 require(glmnet) x1 = runif(100, 1, 2) x2 = 2*x1 x_train = cbind(x1, x2) y = 100*x1 + 100 + runif(1) ridge.mod = cv.glmnet(x_train, y, alpha = …

9 lasso  multicollinearity 

En los estudios de psicología aprendí que deberíamos usar el método de Bonferroni para ajustar el nivel de significancia al probar varias hipótesis en un solo conjunto de datos. Actualmente estoy trabajando con métodos de aprendizaje automático como Support Vector Machines o Random Forest para la clasificación. Aquí tengo un …

9 machine-learning  cross-validation  svm  overfitting  bonferroni 

El documento sobre GAN dice que el discriminador usa el siguiente gradiente para entrenar: ∇θre1metro∑i = 1metro[ logD (X( i )) +log( 1 - D ( G (z( i )) ) ) ]∇θre1metro∑yo=1metro[Iniciar sesión⁡re(X(yo))+Iniciar sesión⁡(1-re(sol(z(yo))))]\nabla _{\theta_d} \frac{1}{m}\sum^{m}_{i=1} [\log{D(x^{(i)})} + \log{(1-D(G(z^{(i)})))}] Los valores se muestrean, se pasan a través del generador …

9 machine-learning  neural-networks