Estadísticas y Big Data

Estoy interesado en una buena referencia para resultados relacionados con propiedades asintóticas de estimadores de máxima verosimilitud. Considere un modelo donde es una densidad -dimensional, y es el MLE basado en una muestra de donde es el valor "verdadero" de . Hay dos irregularidades que me interesan.f n ( x …

10 maximum-likelihood  references 

He visto un par de charlas de no estadísticos donde parecen reinventar las medidas de correlación utilizando información mutua en lugar de regresión (o pruebas estadísticas equivalentes / estrechamente relacionadas). Supongo que hay una buena razón por la cual los estadísticos no toman este enfoque. Mi lego entiende que los …

10 correlation  mutual-information 

Un instrumento utilizado para medir los niveles de glucosa en la sangre de una persona se controla en una muestra aleatoria de 10 personas. Los niveles también se miden utilizando un procedimiento de laboratorio muy preciso. La medida del instrumento se denota por x. La medida del procedimiento de laboratorio …

10 regression  self-study  measurement 

Estaba leyendo este artículo relacionado con la red elástica. Dicen que usan una red elástica porque si solo usamos Lasso, tiende a seleccionar solo un predictor entre los predictores que están altamente correlacionados. Pero no es esto lo que queremos. Quiero decir que nos salva del problema de la multicolinealidad, …

10 regression  lasso  elastic-net 

En Rpodemos "ponderar previamente" una glmregresión a través del parámetro de pesos . Por ejemplo: glm.D93 <- glm(counts ~ outcome + treatment, family = poisson(), weights=w) ¿Cómo se puede lograr esto en una JAGSo BUGSmodelo? Encontré un artículo discutiendo esto, pero ninguno de ellos proporciona un ejemplo. Me interesan principalmente …

10 bayesian  generalized-linear-model  jags  bugs  weighted-regression 

Siempre me han enseñado que los efectos aleatorios solo influyen en la varianza (error), y que los efectos fijos solo influyen en la media. Pero he encontrado un ejemplo en el que los efectos aleatorios también influyen en la media: la estimación del coeficiente: require(nlme) set.seed(128) n <- 100 k …

10 r  mixed-model  random-effects-model 

Llegué a una situación en la que los pesos de mi red neuronal no convergen incluso después de 500 iteraciones. Mi red neuronal contiene 1 capa de entrada, 1 capa oculta y 1 capa de salida. Son alrededor de 230 nodos en la capa de entrada, 9 nodos en la …

10 machine-learning  neural-networks 

Hay varios hilos en R-sig-ME sobre cómo obtener intervalos de confianza para las predicciones usando lme4y nlmeen R. Por ejemplo, aquí y aquí en 2010, incluidos algunos comentarios de Dougals Bates, uno de los autores de ambos paquetes. Dudo en citarlo literalmente, por temor a que sean sacados de contexto, …

10 mixed-model 

Como dice el título, ¿la reducción de dimensiones siempre pierde algo de información? Considere, por ejemplo, PCA. Si los datos que tengo son muy escasos, supongo que se podría encontrar una "mejor codificación" (¿está relacionado de alguna manera con el rango de los datos?), Y no se perdería nada.

10 pca  information-theory  information 

¿Se debe realizar la selección de características solo en los datos de entrenamiento (o todos los datos)? Revisé algunas discusiones y documentos como Guyon (2003) y Singhi y Liu (2006) , pero aún no estoy seguro de la respuesta correcta. La configuración de mi experimento es la siguiente: Conjunto de …

10 dataset  cross-validation  experiment-design  feature-selection 

Estoy analizando un conjunto de datos con muchos parámetros (por ejemplo, 50-200) y estoy interesado en analizar las relaciones entre las variables (por ejemplo, en términos de gráficos de dispersión de 2 variables o histogramas 2D). Sin embargo, para este número de parámetros, parece inviable dibujar una matriz de parcelas …

10 correlation  data-visualization  multivariate-analysis  scatterplot 

Estoy trabajando con un análisis espacial exploratorio en R usando el paquete spdep. Encontré una opción para ajustar los valores p de los indicadores locales de asociación espacial (LISA) calculados usando la localmoranfunción. Según los documentos, está dirigido a: ... ajuste del valor de probabilidad para múltiples pruebas. Además en …

10 r  multiple-comparisons  bonferroni 

Digamos que tengo dos métodos de aprendizaje para un problema de clasificación , y , y que calculo su rendimiento de generalización con algo como validación cruzada repetida o bootstrapping. De este proceso obtengo una distribución de puntajes y para cada método a través de estas repeticiones (por ejemplo, la …

10 cross-validation  model-selection 

En su blog, Larry Wasserman tiene una publicación sobre lo que planeaba cubrir en su curso el otoño pasado. Señala que estaba abandonando algunos temas clásicos en favor de cuestiones más modernas. Un tema que menciona es la desigualdad de Hoeffding. ¿Qué hace que este resultado sea especialmente importante para …

10 probability-inequalities 

Tal vez esta pregunta tenga respuesta en medicina, pero ¿hay alguna razón estadística por la cual el índice de IMC se calcule como ? ¿Por qué no, por ejemplo, solo ? Mi primera idea es que tiene algo que ver con la regresión cuadrática. peso / alturapeso / altura2weight/height2\text{weight}/\text{height}^2peso / …

10 biostatistics