Estadísticas y Big Data

Tengo una variable aleatoria donde a es normal distribuido . ¿Qué puedo decir sobre y ? Una aproximación también sería útil.X(a)=log(a)X(a)=log⁡(a)X(a) = \log(a)N(μ,σ2)N(μ,σ2)\mathcal N(\mu,\sigma^2)E(X)E(X)E(X)Var(X)Var(X)Var(X)

20 normal-distribution  mathematical-statistics  random-variable  lognormal  logarithm 

Wikipedia y la viñeta del paquete sándwich R brindan buena información sobre los supuestos que respaldan los errores estándar del coeficiente MCO y los antecedentes matemáticos de los estimadores sándwich. Sin embargo, todavía no estoy claro cómo se aborda el problema de la heteroscedasticidad residual, probablemente porque en primer lugar …

20 multiple-regression  residuals  heteroscedasticity  robust-standard-error 

¿Hay alguna forma de probar la separabilidad lineal de un conjunto de datos de dos clases en altas dimensiones? Mis vectores de características son de 40 de largo. Sé que siempre puedo ejecutar experimentos de regresión logística y determinar la tasa de aciertos frente a la tasa de falsas alarmas …

20 machine-learning  classification 

¿Alguien puede probar la siguiente conexión entre la métrica de información de Fisher y la entropía relativa (o divergencia KL) de una manera puramente matemática rigurosa? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) donde a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) …

20 mathematical-statistics  kullback-leibler  fisher-information 

Esta pregunta se migró de Mathematics Stack Exchange porque se puede responder en Cross Validated. Migrado hace 6 años . En el enfoque del algoritmo EM, utilizamos la desigualdad de Jensen para llegar aIniciar sesiónp ( x | θ ) ≥ ∫Iniciar sesiónp ( z, x | θ ) p …

20 mixture  expectation-maximization 

No quiero saber si algunos fenómenos en la naturaleza tienen una distribución normal, sino si podemos ver en alguna parte la forma de la curva normal como podemos verla, por ejemplo, en el cuadro de Galton. Ver esta figura de Wikipedia. Tenga en cuenta que muchas formas o curvas matemáticas …

20 distributions  normality-assumption 

Quiero implementar el algoritmo EM manualmente y luego compararlo con los resultados normalmixEMdel mixtoolspaquete. Por supuesto, sería feliz si ambos conducen a los mismos resultados. La referencia principal es Geoffrey McLachlan (2000), Modelos de mezclas finitas . Tengo una densidad de mezcla de dos gaussianos, en forma general, la probabilidad …

20 r  expectation-maximization  gaussian-mixture 

Suponga que son variables aleatorias continuas con segundos momentos finitos. La versión de población del coeficiente de correlación de rango de Spearman se puede definir como el coeficiente de momento del producto de Pearson ρ de las integrales de probabilidad transforma y F_Y (Y) , donde F_X, F_Y son los …

20 correlation  pearson-r  spearman-rho 

Breiman dice que los árboles se cultivan sin podar. ¿Por qué? Quiero decir que debe haber una razón sólida por la cual los árboles en un bosque aleatorio no se poden. Por otro lado, se considera muy importante podar un solo árbol de decisión para evitar un ajuste excesivo. ¿Hay …

20 machine-learning 

Una compañera de trabajo está analizando algunos datos biológicos para su disertación con cierta heterocedasticidad desagradable (figura a continuación). Lo está analizando con un modelo mixto pero todavía tiene problemas con los residuos. La transformación logarítmica de las variables de respuesta limpia las cosas y, basándose en la retroalimentación a …

20 mixed-model  poisson-distribution  biostatistics 

Estoy usando libsvm en modo C-SVC con un núcleo polinomial de grado 2 y estoy obligado a entrenar múltiples SVM. Cada conjunto de entrenamiento tiene 10 características y 5000 vectores. Durante el entrenamiento, recibo esta advertencia para la mayoría de los SVM que entreno: WARNING: reaching max number of iterations …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Los datos para ciertos tipos de variables tienden a ser no normales cuando se miden en poblaciones particulares (por ejemplo, niveles de depresión en una población de personas con trastorno depresivo mayor). Dado que Pearson asume la normalidad, ¿cuán robusto es el estadístico de prueba en condiciones de no normalidad? …

20 correlation 

Estoy trabajando en un algoritmo que se basa en el hecho de que las observaciones s se distribuyen normalmente, y me gustaría probar empíricamente la robustez del algoritmo a este supuesto.YYY Para hacer esto, yo estaba buscando una secuencia de transformaciones que pueda interrumpir progresivamente la normalidad de Y . …

20 data-transformation  normality-assumption  skewness  kurtosis 

Supongamos que tengo 20 ratones. Emparejo los ratones de alguna manera, de modo que obtengo 10 pares. Para el propósito de esta pregunta, podría ser un emparejamiento aleatorio, O podría ser un emparejamiento sensato, como tratar de emparejar ratones de la misma camada, del mismo sexo, con un peso similar, …

20 t-test  paired-data 

Tengo algunos datos que parecen trazar una gráfica de residuos frente al tiempo casi normal, pero quiero estar seguro. ¿Cómo puedo comprobar la normalidad de los residuos de error?

20 hypothesis-testing  normal-distribution  assumptions