Estadísticas y Big Data

En mis datos, tengo una variable de clase, indicado como . Los valores de esta variable de clase son 0 , 1 (binario). Casi todas las observaciones de C son 0 (cerca del 100%, más precisamente, 97%). Me gustaría una prueba de "rendimiento" en diferentes modelos de clasificación (podría ser …

9 classification  binary-data  model-evaluation 

Encontré este artículo donde dice que en el muestreo de Gibbs se acepta cada muestra. Estoy un poco confundido. ¿Cómo es que si cada muestra que aceptaba converge a una distribución estacionaria? En general, el algoritmo Metropolis aceptamos como min (1, p (x *) / p (x)) donde x * …

9 mcmc  gibbs  metropolis-hastings 

Estoy pensando en un problema que consiste en predecir el registro (gasto) de un cliente mediante regresión lineal. Estoy considerando qué características usar como entrada y me pregunto si estaría bien usar el percentil de una variable como entradas. Por ejemplo, podría usar los ingresos de la empresa como insumo. …

9 regression  linear-model  quantiles  predictor 

Esta puede ser una pregunta tonta, pero cuando se genera un modelo con cuidado y se usa algo como LOOCVo (aún más importante) LGOCV, ¿cuál es el beneficio de dividir los datos en trenes y conjuntos de pruebas si esto es esencialmente el paso de validación cruzada? lo hace de …

9 r  machine-learning  cross-validation  caret 

Tengo modelos como este: require(nlme) set.seed(123) n <- 100 k <- 5 cat <- as.factor(rep(1:k, n)) cat_i <- 1:k # intercept per kategorie x <- rep(1:n, each = k) sigma <- 0.2 alpha <- 0.001 y <- cat_i[cat] + alpha * x + rnorm(n*k, 0, sigma) plot(x, y) m1 <- …

9 r  mixed-model  aic 

Estoy tratando de tener una idea de cómo LDA 'encaja' dentro de otras técnicas de aprendizaje supervisado. Ya he leído algunas de las publicaciones de LDA-esque aquí sobre LDA. Ya estoy familiarizado con el perceptrón, pero solo estoy aprendiendo LDA ahora. ¿Cómo 'encaja' LDA en la familia de algoritmos de …

9 machine-learning  classification  discriminant-analysis  supervised-learning 

Estoy usando una versión estándar de regresión logística para ajustar mis variables de entrada a las variables de salida binarias. Sin embargo, en mi problema, las salidas negativas (0s) superan con creces a las salidas positivas (1s). La relación es 20: 1. Entonces, cuando entreno un clasificador, parece que incluso …

9 regression  logistic  weighted-regression 

Estoy ejecutando un análisis de regresión jerárquica y tengo algunas dudas: ¿Calculamos el término de interacción usando las variables centradas? ¿Tenemos que centrar TODAS las variables continuas que tenemos en el conjunto de datos, excepto la variable dependiente? Cuando tenemos que registrar algunas variables (porque su sd es mucho más …

9 interaction  multicollinearity  centering 

Digamos que he ejecutado la misma regresión para 100 individuos diferentes por separado. Mis coeficientes de interés son positivos (y bastante diferentes entre sí) pero estadísticamente insignificantes en los 100 resultados (digamos que cada valor de p = 0.11). ¿Hay alguna forma de combinar estos valores de p para concluir …

9 hypothesis-testing  multiple-comparisons 

Estoy realizando un metanálisis de los tamaños de efecto d en R usando el paquete metafor. d representa diferencias en los puntajes de memoria entre pacientes y sanos. Sin embargo, algunos estudios informan solo subpuntos de la medida de interés d (por ejemplo, varios puntajes de memoria diferentes o puntajes …

9 r  meta-analysis  effect-size  meta-regression 

Estoy tratando de entender un concepto muy básico de desviación estándar. De la fórmulaσ=∑i=1n(xi−μ)2N−−−−−−−−−−⎷σ=∑i=1n(xi−μ)2N\sigma= \sqrt{ \dfrac{ \sum\limits_{i=1}^n (x_i-\mu)^2} N } No puedo entender por qué deberíamos reducir a la mitad la población "N", es decir, ¿por qué queremos tomar cuando no hicimos ? ¿No distorsiona eso a la población que …

9 standard-deviation 

Estoy estudiando diferentes métodos de estimación puntual y leí que cuando usamos estimaciones MAP vs ML, cuando usamos un "uniforme previo", las estimaciones son idénticas. ¿Alguien puede explicar qué es un "uniforme" anterior y dar algunos ejemplos (simples) de cuándo los estimadores MAP y ML serían los mismos?

9 machine-learning  probability  bayesian  estimation  maximum-likelihood 

Estaba tratando de ganar algo de intuición para la regresión del Proceso Gaussiano, así que hice un simple problema de juguete 1D para probar. Tomé como las entradas, y como las respuestas. ('Inspirado' de )xi={1,2,3}Xyo={1,2,3}x_i=\{1,2,3\}y = x 2yi={1,4,9}yyo={1,4 4,9 9}y_i=\{1,4,9\}y=x2y=X2y=x^2 Para la regresión, utilicé una función de kernel exponencial cuadrática …

9 regression  gaussian-process 

Tengo dificultades para comprender una explicación de regresión logística. La regresión logística es entre temperatura y peces que mueren o no mueren. La pendiente de una regresión logística es 1.76. Entonces, las probabilidades de que los peces mueran aumentan en un factor de exp (1.76) = 5.8. En otras palabras, …

9 logistic  odds-ratio  odds 

La población r-cuadrado se puede definir suponiendo puntuaciones fijas o puntuaciones aleatorias:ρ2ρ2\rho^2 Puntuaciones fijas: el tamaño de la muestra y los valores particulares de los predictores se mantienen fijos. Por lo tanto, es la proporción de varianza explicada en el resultado por la ecuación de regresión de la población cuando …

9 regression  estimation  r-squared