Estadísticas y Big Data

Tengo un gran conjunto de vectores de características que usaré para atacar un problema de clasificación binaria (usando scikit learn en Python). Antes de comenzar a pensar en la imputación, estoy interesado en tratar de determinar, a partir de las partes restantes de los datos, si los datos faltantes 'faltan …

21 missing-data  randomness 

Ejecuté una validación cruzada 10 veces en diferentes algoritmos de clasificación binaria, con el mismo conjunto de datos, y recibí resultados promediados Micro y Macro. Cabe mencionar que este fue un problema de clasificación de etiquetas múltiples. En mi caso, los verdaderos negativos y los verdaderos positivos se ponderan por …

21 machine-learning  cross-validation 

Estoy tratando de ajustar modelos lineales generalizados a algunos conjuntos de datos de conteo que pueden o no estar dispersos. Las dos distribuciones canónicas que se aplican aquí son Poisson y Binomial Negativo (Negbin), con EV y varianza.μμ\mu Vun rPAGS= μVarP=μVar_P = \mu Vun rnortesi= μ + μ2θVarNB=μ+μ2θVar_{NB} = \mu …

21 r  generalized-linear-model  negative-binomial  poisson-regression  quasi-likelihood 

El coeficiente de correlación generalmente se escribe con una mayúscula, pero a veces no. Me pregunto si realmente hay una diferencia entre y . ¿Puede significar algo más que un coeficiente de correlación?r 2 R 2 rRRRr2r2r^2R2R2R^2rrr

21 correlation  terminology  r-squared 

Observo un comportamiento muy extraño en el resultado SVD de datos aleatorios, que puedo reproducir tanto en Matlab como en R. Parece un problema numérico en la biblioteca LAPACK; ¿Lo es? Extraigo muestras de la Gaussiana dimensional con media cero y covarianza de identidad: . Les reunir en un datos …

21 pca  svd  linear-algebra  numerics 

Cuando trazo un histograma de mis datos, tiene dos picos: ¿Eso significa una posible distribución multimodal? Ejecuté dip.testen R ( library(diptest)), y la salida es: D = 0.0275, p-value = 0.7913 ¿Puedo concluir que mis datos tienen una distribución multimodal? DATOS 10346 13698 13894 19854 28066 26620 27066 16658 9221 …

21 r  hypothesis-testing  distributions  self-study  histogram 

Tengo 383 muestras que tienen un sesgo importante para algunos valores comunes, ¿cómo calcularía el IC del 95% para la media? El IC que calculé parece muy diferente, lo que supongo es que mis datos no se ven como una curva cuando hago un histograma. Así que creo que tengo …

21 confidence-interval  mean 

Al calcular AIC, Un yodo= 2 k - 2 l n LAIC=2k−2lnLAIC = 2k - 2 ln L k significa 'número de parámetros'. Pero, ¿qué cuenta como parámetro? Así por ejemplo en el modelo y= a x + by=ax+by = ax + b ¿A y b siempre se cuentan como …

21 aic 

¿Es que en la estandarización se conoce la varianza, mientras que en la estudianteización no se conoce y, por lo tanto, se estima? Gracias.

21 standardization 

Según un texto que estoy usando, la fórmula para la varianza del residuo yot hyothi^{th} viene dada por: σ2( 1 - 1norte- ( xyo- x¯¯¯)2Sx x)σ2(1-1norte-(Xyo-X¯)2SXX)\sigma^2\left ( 1-\frac{1}{n}-\frac{(x_{i}-\overline{x})^2}{S_{xx}} \right ) Me parece difícil de creer ya que la yot hyothi^{th} residual es la diferencia entre el ithyothi^{th} valor observado y …

21 regression  variance  residuals 

Soy matemático y estudio las estadísticas y lucho especialmente con el idioma. En el libro que estoy usando, existe el siguiente problema: Una variable aleatoria se da como -distribuido con . (Por supuesto, puede tomar cualquier distribución dependiendo de un parámetro en aras de esta pregunta). Luego se proporciona una …

21 maximum-likelihood 

Estoy tratando de ajustar un modelo de regresión lineal múltiple a mis datos con un par de parámetros de entrada, digamos 3. F( x )F( x )= A x1+ B x2+ CX3+ do= ( A B C )T( x1 X2 X3) + d(yo)(ii)(yo)F(X)=UNAX1+siX2+doX3+reo(ii)F(X)=(UNA si do)T(X1 X2 X3)+re\begin{align} F(x) &= Ax_1 …

21 regression  data-visualization  multiple-regression  communication 

Estoy leyendo el algoritmo Bishop en EM para GMM y la relación entre GMM y k-means. En este libro dice que k-means es una versión difícil de GMM. Me pregunto si eso implica que si los datos que intento agrupar no son gaussianos, no puedo usar k-means (o al menos …

21 clustering  data-mining  k-means  gaussian-mixture 

Estoy aplicando un modelo lineal a mis datos: yyo= β0 0+ β1Xyo+ ϵyo,ϵyo∼ N( 0 , σ2) .yyo=β0 0+β1Xyo+ϵyo,ϵyo∼norte(0 0,σ2). y_{i}=\beta_{0}+\beta_{1}x_{i}+\epsilon_{i}, \quad\epsilon_{i} \sim N(0,\sigma^{2}). Me gustaría estimar el intervalo de confianza (IC) de los coeficientes ( , ) usando el método bootstrap. Hay dos formas en que puedo aplicar el …

21 regression  bootstrap 

En el contexto del aprendizaje automático y el reconocimiento de patrones, hay un concepto llamado Kernel Trick . Enfrentando problemas en los que se me pide que determine si una función podría ser una función del núcleo o no, ¿qué se debe hacer exactamente? ¿Debería comprobar primero si tienen la …

21 machine-learning  kernel-trick