Estadísticas y Big Data

Actualmente estoy terminando un trabajo y me encontré con esta pregunta de ayer que me llevó a plantearme la misma pregunta. ¿Es mejor proporcionar a mi gráfico el error estándar real de los datos o el estimado de mi ANOVA? Como la pregunta de ayer era bastante inespecífica y la …

14 data-visualization  anova  mixed-model  standard-error 

¿Cuáles son las conferencias anuales de estadísticas más importantes? Reglas: Una conferencia por respuesta Incluir un enlace a la conferencia

14 conferences 

Estoy comparando dos distribuciones con la divergencia KL que me devuelve un número no estandarizado que, según lo que leí sobre esta medida, es la cantidad de información que se requiere para transformar una hipótesis en la otra. Tengo dos preguntas: a) ¿Hay alguna manera de cuantificar una divergencia KL …

14 distributions  kullback-leibler  information-geometry 

Hay una variante de impulso llamada gentleboost . ¿En qué se diferencia el impulso suave del AdaBoost más conocido ?

14 machine-learning  boosting 

Tengo curiosidad por saber si hay técnicas gráficas particulares, o más aplicables, al modelado de ecuaciones estructurales. Supongo que esto podría caer en categorías para herramientas exploratorias para el análisis de covarianza o diagnósticos gráficos para la evaluación del modelo SEM. (Realmente no estoy pensando en diagramas de ruta / …

14 sem  data-visualization 

Sigo viendo esta famosa cita en todas partes, pero no entiendo la parte enfatizada cada vez. Un hombre que "rechaza" una hipótesis provisionalmente, como una práctica habitual, cuando la importancia está en el nivel del 1% o superior, ciertamente se equivocará en no más del 1% de tales decisiones. Porque …

14 hypothesis-testing  statistical-significance  references  experiment-design  philosophical 

¿Alguien puede dar una explicación detallada (y clara) de lo que significa su "gravedad" (¿no es solo la función de potencia evaluada en diferentes discrepancias tomadas como hipótesis nula?) Y cómo encaja en la literatura de pruebas estadísticas en general?

14 hypothesis-testing  statistical-significance 

Me doy cuenta de que esta puede ser una pregunta potencialmente amplia, pero me preguntaba si hay suposiciones generalizables que indiquen el uso de un GAM (modelo aditivo generalizado) sobre un GLM (modelo lineal generalizado). Recientemente, alguien me dijo que los GAM solo deberían usarse cuando supongo que la estructura …

14 regression  generalized-linear-model  gam 

Voy a usar la divergencia de KL en mi código de Python y obtuve este tutorial . En ese tutorial, implementar la divergencia de KL es bastante simple. kl = (model * np.log(model/actual)).sum() Según tengo entendido, la distribución de probabilidad de modely actualdebería ser <= 1. Mi pregunta es, ¿cuál …

14 machine-learning  distance  kullback-leibler 

La competencia de Kaggle La predicción Safe Driver de Porto Seguro utiliza el puntaje de Gini normalizado como medida de evaluación y esto me hizo sentir curiosidad sobre los motivos de esta elección. ¿Cuáles son las ventajas de usar el puntaje de Gini normalizado en lugar de las métricas más …

14 classification  auc  model-evaluation  gini 

Supongamos que tengo participantes, cada uno de los cuales da una respuesta 20 veces, 10 en una condición y 10 en otra. Encajo un modelo lineal de efectos mixtos que compara en cada condición. Aquí hay un ejemplo reproducible que simula esta situación usando el paquete en :S SNnorteNYYYYYYlme4R library(lme4) …

14 r  mixed-model  lme4-nlme 

Entonces, sabemos que la búsqueda aleatoria funciona mejor que la búsqueda de cuadrícula, pero un enfoque más reciente es la optimización bayesiana (usando procesos gaussianos). Busqué una comparación entre los dos y no encontré nada. Sé que en el cs231n de Stanford solo mencionan la búsqueda aleatoria, pero es posible …

14 bayesian  hyperparameter 

Parece haber mucha confusión en la comparación de usar glmnetdentro caretpara buscar una lambda óptima y usar cv.glmnetpara hacer la misma tarea. Se plantearon muchas preguntas, por ejemplo: Modelo de clasificación train.glmnet vs. cv.glmnet? ¿Cuál es la forma correcta de usar glmnet con caret? Validación cruzada de `glmnet` usando` caret` …

14 r  caret  glmnet  machine-learning  neural-networks  maximum  softmax  probability  distributions  mathematical-statistics  random-variable  cdf  statistical-significance  variance  expected-value  ratio  sample-size  reliability  tolerance-interval  wilcoxon-signed-rank  self-study  variance  sampling  mean  machine-learning  svm  libsvm  self-study  sampling  ranks  data-visualization  histogram  machine-learning  classification  normal-distribution  mathematical-statistics  maximum-likelihood  mixture  predictive-models  prediction  seasonality 

¿Existe una manera simple de explicar por qué el procedimiento de Benjamini y Hochberg (1995) realmente controla la tasa de descubrimiento falso (FDR)? Este procedimiento es tan elegante y compacto y, sin embargo, la prueba de por qué funciona bajo independencia (que aparece en el apéndice de su artículo de …

14 intuition  false-discovery-rate  teaching 

Estoy simplificando una pregunta de investigación que tengo en el trabajo. Imagine que tengo 5 monedas y llamemos a las cabezas un éxito. Estas son monedas MUY sesgadas con probabilidad de éxito p = 0.1. Ahora, si las monedas fueran independientes, entonces obtener la probabilidad de al menos 1 cara …

14 multivariate-analysis  bernoulli-distribution  copula