Estadísticas y Big Data

Cuando leemos un libro, entender las anotaciones juega un papel muy importante para comprender los contenidos. Desafortunadamente, diferentes comunidades tienen diferentes convenciones de notación para la formulación del modelo y el problema de optimización. ¿Podría alguien resumir algunas anotaciones de formulación aquí y proporcionar posibles razones? Daré un ejemplo aquí: …

26 machine-learning  probability  self-study  optimization 

Recientemente completé una competencia de Kaggle en la que se utilizó la puntuación roc auc según los requisitos de la competencia. Antes de este proyecto, normalmente usaba la puntuación f1 como la métrica para medir el rendimiento del modelo. En el futuro, me pregunto cómo debo elegir entre estas dos …

26 machine-learning  modeling  roc  scoring-rules 

Soy bastante nuevo en las estadísticas bayesianas y me encontré con una medida de correlación corregida, SparCC , que utiliza el proceso Dirichlet en el back-end de su algoritmo. He estado tratando de pasar por el algoritmo paso a paso para comprender realmente lo que está sucediendo, pero no estoy …

26 distributions  bayesian  dirichlet-distribution 

Antecedentes y ejemplo empírico Tengo dos estudios; Realicé un experimento (Estudio 1) y luego lo reproduje (Estudio 2). En el Estudio 1, encontré una interacción entre dos variables; En el Estudio 2, esta interacción fue en la misma dirección pero no significativa. Aquí está el resumen del modelo del Estudio …

26 bayesian 

Dada una aproximación de PCA (o SVD) de la matriz XXX con una matriz X , sabemos que X es la mejor aproximación de bajo rango de X .X^X^\hat XX^X^\hat XXXX ¿Es esto de acuerdo con la norma inducida ∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (es decir, la norma de mayor valor propio) …

26 pca  svd  matrix-decomposition 

¿Cuál es la diferencia entre un clasificador SVM uno contra uno y uno contra uno? ¿One-vs-all significa un clasificador para clasificar todos los tipos / categorías de la nueva imagen y one-vs-one significa que cada tipo / categoría de nueva imagen clasifica con un clasificador diferente (cada categoría es manejada …

26 machine-learning  classification  svm 

Estaba utilizando el Análisis discriminante lineal (LDA) de la scikit-learnbiblioteca de aprendizaje automático (Python) para la reducción de la dimensionalidad y tenía un poco de curiosidad por los resultados. Ahora me pregunto qué scikit-learnestá haciendo la LDA para que los resultados se vean diferentes de, por ejemplo, un enfoque manual …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Varias pruebas de hipótesis, como la GOF, Kolmogorov-Smirnov, Anderson-Darling, etc., siguen este formato básico:χ2χ2\chi^{2} H0 0H0H_0 : los datos siguen la distribución dada. H1H1H_1 : los datos no siguen la distribución dada. Típicamente, uno evalúa la afirmación de que algunos datos dados siguen a una distribución dada, y si uno …

26 hypothesis-testing  distributions  goodness-of-fit  ecdf 

Leí en alguna parte que el método Variational Bayes es una generalización del algoritmo EM. De hecho, las partes iterativas de los algoritmos son muy similares. Para probar si el algoritmo EM es una versión especial de Variational Bayes, probé lo siguiente: YYY son datos,XXX es la colección de variables …

26 bayesian  expectation-maximization  variational-bayes 

¿Cuál es la diferencia intuitiva entre una variable aleatoria que converge en probabilidad versus una variable aleatoria que converge en distribución? He leído numerosas definiciones y ecuaciones matemáticas, pero eso realmente no ayuda. (Tenga en cuenta que soy un estudiante universitario que estudia econometría). ¿Cómo puede una variable aleatoria converger …

26 distributions  random-variable  convergence  intuition 

¿Existe una fórmula de forma cerrada para (o algún tipo de límite en) el EMD entre y ?x 2 ∼ N ( μ 2 , Σ 2 )x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1)x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2, \Sigma_2)

26 normal-distribution  distance 

Tengo un conjunto de números reales. Necesito estimar el cuantil de un nuevo número. ¿Hay alguna forma limpia de hacer esto en R? ¿en general? Espero que esto no sea ultra trivial ;-) Muy apreciado por su respuesta. PK

26 r 

He estado leyendo el artículo de 2014 de Hoekstra et al. Sobre "Interpretación errónea robusta de los intervalos de confianza", que descargué del sitio web de Wagenmakers . En la penúltima página aparece la siguiente imagen. Según los autores, False es la respuesta correcta a todas estas declaraciones. No estoy …

26 hypothesis-testing  confidence-interval 

Tengo el siguiente resultado: Generalized linear mixed model fit by the Laplace approximation Formula: aph.remain ~ sMFS2 +sAG2 +sSHDI2 +sbare +season +crop +(1|landscape) AIC BIC logLik deviance 4062 4093 -2022 4044 Random effects: Groups Name Variance Std.Dev. landscape (Intercept) 0.82453 0.90804 Number of obs: 239, groups: landscape, 45 Fixed effects: …

26 mixed-model  poisson-distribution  lme4-nlme 

Estoy un poco confundido. ¿Por qué los procesos gaussianos se llaman modelos no paramétricos? Asumen que los valores funcionales, o un subconjunto de ellos, tienen un gaussiano anterior con media 0 y función de covarianza dada como la función del núcleo. Estas funciones del núcleo tienen algunos parámetros (es decir, …

26 nonparametric  gaussian-process