Estadísticas y Big Data

¿Este tipo de gráfico tiene un nombre? Más importante aún, ¿hay alguna biblioteca de visualización que pueda usar para producirla? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Actualmente estoy usando el entrenamiento de Viterbi para un problema de segmentación de imágenes. Quería saber cuáles son las ventajas / desventajas de usar el algoritmo Baum-Welch en lugar del entrenamiento de Viterbi.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Me encontré con algunos estadísticos que nunca usan modelos que no sean Regresión lineal para la predicción porque creen que los "modelos ML", como el bosque aleatorio o el aumento de gradiente, son difíciles de explicar o "no interpretables". En una regresión lineal, dado que se verifica el conjunto de …

18 regression  machine-learning  multiple-regression  model-interpretation 

Este es mi marco de datos: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Luego ejecuto un modelo de efectos lineales mixtos para comparar la diferencia de los 3 grupos en "Valor", donde "Asunto" es el factor aleatorio: library(lme4) library(lmerTest) model <- lmer (Value~Group …

18 r  lme4-nlme  post-hoc 

¿Cuál es la complejidad temporal del algoritmo k -NN con un enfoque de búsqueda ingenuo (sin árbol kd o similares)? Estoy interesado en su complejidad temporal considerando también el hiperparámetro k . He encontrado respuestas contradictorias: O (nd + kn), donde n es la cardinalidad del conjunto de entrenamiento yd …

18 k-nearest-neighbour  time-complexity 

Supongo que esta es una pregunta básica y tiene que ver con la dirección del gradiente en sí, pero estoy buscando ejemplos en los que los métodos de segundo orden (por ejemplo, BFGS ) sean más efectivos que el simple descenso del gradiente.

18 optimization 

Suponga que se lanza una moneda justa varias veces hasta que se obtiene una cara por primera vez. ¿Cuál es el número esperado de lanzamientos que se requerirán? ¿Cuál es el número esperado de colas que se obtendrán antes de obtener la primera cabeza?

18 probability  self-study  expected-value  bernoulli-distribution  geometric-distribution 

Consideremos las siguientes dos distribuciones de probabilidad P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 He calculado la divergencia de Kullback-Leibler que es igual a 0.4928202580.4928202580.492820258 , quiero saber en general ¿qué me muestra este número? En general, …

18 interpretation  information-theory  kullback-leibler 

Tengo muchas ganas de aprender sobre las técnicas bayesianas, así que he estado tratando de enseñarme un poco. Sin embargo, estoy teniendo dificultades para ver cuando el uso de técnicas bayesianas confiere una ventaja sobre los métodos frequentistas. Por ejemplo: he visto en la literatura un poco acerca de cómo …

18 bayesian  frequentist 

Estoy trabajando en datos gravemente desequilibrados. En la literatura, se utilizan varios métodos para reequilibrar los datos mediante re-muestreo (sobremuestreo o submuestreo). Dos buenos enfoques son: SMOTE: Técnica de sobremuestreo de minorías sintéticas ( SMOTE ) ADASYN: Enfoque de muestreo sintético adaptativo para el aprendizaje desequilibrado ADASYN ) He implementado …

18 classification  dataset  resampling  unbalanced-classes  oversampling 

Contexto : regresión jerárquica con algunos datos faltantes. Pregunta : ¿Cómo uso la estimación de máxima probabilidad de información completa (FIML) para abordar los datos faltantes en R? ¿Hay un paquete que recomendaría y cuáles son los pasos típicos? Los recursos y ejemplos en línea también serían muy útiles. PD …

18 r  maximum-likelihood  missing-data 

Supongamos que X1,…,Xk+1X1,…,Xk+1X_1,\dots,X_{k+1} son variables aleatorias mutuamente independientes, cada una con una distribución gamma con parámetros αi,i=1,2,…,k+1αi,i=1,2,…,k+1\alpha_i,i=1,2,\dots,k+1 muestra que Yi=XiX1+⋯+Xk+1,i=1,…,kYi=XiX1+⋯+Xk+1,i=1,…,kY_i=\frac{X_i}{X_1+\cdots+X_{k+1}},i=1,\dots,k, tienen una distribución conjunta comoDirichlet(α1,α2,…,αk;αk+1)Dirichlet(α1,α2,…,αk;αk+1)\text{Dirichlet}(\alpha_1,\alpha_2,\dots,\alpha_k;\alpha_{k+1}) PDF conjunto de Luego para encontrar la articulación pdf de No puedo encontrar jacobian, es decir,(X1,…,Xk+1)=e−∑k+1i=1xixα1−11…xαk+1−1k+1Γ(α1)Γ(α2)…Γ(αk+1)(X1,…,Xk+1)=e−∑i=1k+1xix1α1−1…xk+1αk+1−1Γ(α1)Γ(α2)…Γ(αk+1)(X_1,\dots,X_{k+1})=\frac{e^{-\sum_{i=1}^{k+1}x_i}x_1^{\alpha_1-1}\dots x_{k+1}^{\alpha_{k+1}-1}}{\Gamma(\alpha_1)\Gamma(\alpha_2)\dots \Gamma(\alpha_{k+1})}(Y1,…,Yk+1)(Y1,…,Yk+1)(Y_1,\dots,Y_{k+1})J(x1,…,xk+1y1,…,yk+1)J(x1,…,xk+1y1,…,yk+1)J(\frac{x_1,\dots,x_{k+1}}{y_1,\dots,y_{k+1}})

18 self-study  multivariate-analysis  gamma-distribution  dirichlet-distribution 

Los libros de texto suelen tener buenas parcelas de base para splines uniformes cuando explican el tema. Algo así como una fila de pequeños triángulos para una spline lineal, o una fila de pequeñas jorobas para una spline cúbica. Este es un ejemplo típico: http://support.sas.com/documentation/cdl/en/statug/63033/HTML/default/viewer.htm#statug_introcom_a0000000525.htm Me pregunto si hay una …

18 data-visualization  splines 

Me doy cuenta de que esta es una pregunta muy básica, pero no puedo encontrar una respuesta en ningún lado. Estoy calculando los coeficientes de regresión usando las ecuaciones normales o la descomposición QR. ¿Cómo puedo calcular los errores estándar para cada coeficiente? Por lo general, pienso que los errores …

18 standard-error  regression-coefficients 

No sé si esto se ha preguntado antes, pero no encontré nada al respecto. Mi pregunta es si alguien puede proporcionar una buena referencia para aprender cómo obtener la proporción de varianza explicada por cada uno de los factores fijos y aleatorios en un modelo de efectos mixtos.

18 mixed-model  variance