Estadísticas y Big Data

Estoy realizando una regresión logística de red elástica en un conjunto de datos de atención médica usando el glmnetpaquete en R seleccionando valores lambda en una cuadrícula de de 0 a 1. Mi código abreviado está a continuación:αα\alpha alphalist <- seq(0,1,by=0.1) elasticnet <- lapply(alphalist, function(a){ cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001) …

22 machine-learning  cross-validation  glmnet  elastic-net 

Yo entiendo que la prueba de Wald para los coeficientes de regresión se basa en la propiedad después de que mantiene asintóticamente (por ejemplo Wasserman (2006): Todos Estadística , páginas 153, 214-215): Dondeβdenota el coeficiente de regresión estimado,^SE(β)denota el error estándar del coeficiente de regresión yβ0es el valor de interés …

22 r  regression  hypothesis-testing  generalized-linear-model 

Quiero comprender mejor los paquetes R Larsy Glmnet, que se utilizan para resolver el problema de Lasso: (para Variables y muestras, ver www.stanford.edu/~hastie/Papers/glmnet.pdf en la página 3)m i n( β0 0β) ∈ Rp + 1[ 12 N∑i = 1norte( yyo- β0 0- xTyoβ)2+ λ | El | βEl | El …

22 r  regression  machine-learning  lasso  regularization 

Quiero realizar la agrupación K-means en los objetos que tengo, pero los objetos no se describen como puntos en el espacio, es decir, por objects x featuresconjunto de datos. Sin embargo, puedo calcular la distancia entre dos objetos (se basa en una función de similitud). Entonces, dispongo de la matriz …

22 machine-learning  clustering  data-mining  k-means  distance 

Después de jugar demasiado Angry Birds, comencé a observar mis propias estrategias. Resulta que desarrollé un enfoque muy específico para obtener 3 estrellas en cada nivel. Eso me hizo preguntarme sobre los desafíos de desarrollar un sistema de aprendizaje automático que pudiera jugar a Angry Birds. Interactuar con el juego …

22 machine-learning  reinforcement-learning 

Supongamos que tengo alguna medida para cada sujeto en cada sitio. Dos variables, sujeto y sitio, son de interés en términos de cálculo de valores de correlación intraclase (ICC). Normalmente, usaría la función lmerdel paquete R lme4y ejecutaría lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata) …

22 r  lme4-nlme  intraclass-correlation 

Soy nuevo en esta cosa R pero no estoy seguro de qué modelo seleccionar. Hice una regresión progresiva hacia adelante seleccionando cada variable en función del AIC más bajo. Se me ocurrieron 3 modelos que no estoy seguro de cuál es el "mejor". Model 1: Var1 (p=0.03) AIC=14.978 Model 2: …

22 model-selection  aic  stepwise-regression 

Debo aclarar inmediatamente que soy un desarrollador de software práctica, no un estadístico, y que clase de mi universidad estadísticas era un muy largo tiempo atrás ... Dicho esto, me gustaría saber si hay un método para acumular un conjunto de estadísticas descriptivas que luego podrían usarse para producir un …

22 algorithms  median  quantiles 

En su artículo Linear Model Selection by Cross-Validation , Jun Shao muestra que para el problema de la selección de variables en la regresión lineal multivariante, el método de validación cruzada de dejar-fuera-fuera (LOOCV) es 'asintóticamente inconsistente'. En inglés simple, tiende a seleccionar modelos con demasiadas variables. En un estudio …

22 classification  model-selection  cross-validation 

Tengo dos grupos de datos. Cada uno con una distribución diferente de múltiples variables. Estoy tratando de determinar si las distribuciones de estos dos grupos son diferentes de una manera estadísticamente significativa. Tengo los datos en forma cruda y agrupados en categorías más fáciles de manejar con recuentos de frecuencia …

22 distributions  statistical-significance 

Soy consciente de que ha habido muchos avances con respecto al reconocimiento de imágenes, clasificación de imágenes, etc. con redes neuronales profundas y convolucionales. Pero si entreno una red en, por ejemplo, imágenes PNG, ¿ solo funcionará para imágenes tan codificadas? ¿Qué otras propiedades de imagen afectan esto? (canal alfa, …

22 neural-networks  deep-learning  image-processing 

No estoy seguro de por qué necesitamos codificar variables categóricas simuladas. Por ejemplo, si tengo una variable categórica con cuatro valores posibles 0,1,2,3, puedo reemplazarla por dos dimensiones. Si la variable tuviera el valor 0, tendría 0,0 en las dos dimensiones, si tuviera 3, tendría 1,1 en las dos dimensiones …

22 categorical-data  categorical-encoding 

Estoy un poco confundido sobre cuáles son los supuestos de la regresión lineal. Hasta ahora verifiqué si: Todas las variables explicativas se correlacionaron linealmente con la variable de respuesta. (Este fue el caso) hubo alguna colinealidad entre las variables explicativas. (había poca colinealidad). las distancias de Cook de los puntos …

22 linear-model  residuals  assumptions  normality-assumption 

Tengo una pregunta sobre el análisis de conglomerados. Hay 3000 empresas, que deben agruparse de acuerdo con su consumo de energía durante 5 años. Cada empresa tiene valores por cada hora durante 5 años. Me gustaría saber si algunas empresas tienen el mismo patrón en el poder de uso durante …

22 time-series  clustering  spss 

Ha habido buenas preguntas sobre el manejo de datos desequilibrados en el contexto de clasificación , pero me pregunto qué hacen las personas para tomar muestras de regresión. Digamos que el dominio del problema es muy sensible al signo pero solo algo sensible a la magnitud del objetivo. Sin embargo, …

22 regression  sampling  unbalanced-classes