Estadísticas y Big Data

En este artículo , la talentosa investigadora Cosma Shalizi argumenta que para aceptar completamente una visión bayesiana subjetiva, uno también debe aceptar un resultado no físico de que la flecha del tiempo (dada por el flujo de entropía) debería ir hacia atrás . Esto es principalmente un intento de argumentar …

31 bayesian  entropy  maximum-entropy  philosophical 

En mi trabajo, estamos comparando clasificaciones predichas versus clasificaciones verdaderas para algunos conjuntos de datos. Hasta hace poco, hemos estado usando Kendall-Tau solo. Un grupo que trabaja en un proyecto similar sugirió que intentemos usar el Goodman-Kruskal Gamma en su lugar, y que lo prefirieron. Me preguntaba cuáles eran las …

31 spearman-rho  kendall-tau  goodman-kruskal-gamma 

Quiero generar la trama descrita en el libro ElemStatLearn "Los elementos del aprendizaje estadístico: minería de datos, inferencia y predicción. Segunda edición" de Trevor Hastie y Robert Tibshirani y Jerome Friedman. La trama es: Me pregunto cómo puedo producir este gráfico exacto R, especialmente tenga en cuenta los gráficos de …

31 r  data-visualization  k-nearest-neighbour 

¿Es posible visualizar el resultado del análisis de componentes principales de manera que proporcione más información que solo tablas de resumen? ¿Es posible hacerlo cuando el número de observaciones es grande, digamos ~ 1e4? ¿Y es posible hacerlo en R [otros entornos bienvenidos]?

31 r  data-visualization  pca  biplot 

Aunque esta pregunta es algo subjetiva, espero que califique como una buena pregunta subjetiva de acuerdo con las pautas de preguntas frecuentes . Se basa en una pregunta que me hizo Olle Häggström hace un año y, aunque tengo algunas ideas al respecto, no tengo una respuesta definitiva y agradecería …

31 hypothesis-testing  data-mining 

Es bien sabido que los intervalos de confianza y las hipótesis estadísticas de prueba están fuertemente relacionados. Mis preguntas se centran en la comparación de medias para dos grupos en función de una variable numérica. Supongamos que dicha hipótesis se prueba con la prueba t. Por otro lado, uno puede …

31 hypothesis-testing  confidence-interval 

He encontrado algunas distribuciones para las cuales BUGS y R tienen diferentes parametrizaciones: Normal, log-Normal y Weibull. Para cada uno de estos, deduzco que el segundo parámetro utilizado por R debe transformarse inversamente (1 / parámetro) antes de usarse en BUGS (o JAGS en mi caso). ¿Alguien sabe de una …

31 r  distributions  bugs  jags  parameterization 

Estoy tratando de analizar algunos datos usando un modelo de efectos mixtos. Los datos que recopilé representan el peso de algunos animales jóvenes de diferentes genotipos a lo largo del tiempo. Estoy usando el enfoque propuesto aquí: https://gribblelab.wordpress.com/2009/03/09/repeated-measures-anova-using-r/ En particular estoy usando la solución # 2 Entonces tengo algo como …

31 r  anova  mixed-model  multiple-comparisons  repeated-measures 

Contexto: en respuesta a una pregunta anterior sobre investigación reproducible, Jake escribió Un problema que descubrimos al crear nuestro archivo JASA fue que las versiones y los valores predeterminados de los paquetes CRAN cambiaron. Entonces, en ese archivo, también incluimos las versiones de los paquetes que utilizamos. El sistema basado …

31 r  reproducible-research  project-management 

A veces, en los informes, incluyo un descargo de responsabilidad sobre los valores p y otras estadísticas inferenciales que he proporcionado. Digo que, dado que la muestra no fue aleatoria, esas estadísticas no se aplicarían estrictamente. Mi redacción específica generalmente se da en una nota al pie: "Si bien, estrictamente …

31 inference  p-value 

En mayo de 2010, el usuario de Wikipedia Mcorazao agregó una oración al artículo de asimetría que dice "Un valor cero indica que los valores están distribuidos de manera relativamente uniforme en ambos lados de la media, lo que generalmente implica una distribución simétrica, pero no necesariamente." Sin embargo, la …

31 distributions  expected-value  skewness 

Además de gnuplot y ggobi , ¿qué herramientas de código abierto utilizan las personas para visualizar datos multidimensionales? Gnuplot es más o menos un paquete de trazado básico. Ggobi puede hacer una serie de cosas ingeniosas, como: animar datos a lo largo de una dimensión o entre colecciones discretas Animar …

31 data-visualization  open-source 

Imagina Ejecuta una regresión lineal con cuatro predictores numéricos (IV1, ..., IV4) Cuando solo se incluye IV1 como predictor, la beta estandarizada es +.20 Cuando también incluye IV2 a IV4, el signo del coeficiente de regresión estandarizado de IV1 cambia -.25(es decir, se vuelve negativo). Esto da lugar a algunas …

31 regression  predictor 

Tome e y suponga que modelamos la tarea de predecir y dada x usando regresión logística. ¿Cuándo se pueden escribir los coeficientes de regresión logística en forma cerrada?x∈{0,1}dx∈{0,1}dx \in \{0,1\}^dy∈{0,1}y∈{0,1}y \in \{0,1\} Un ejemplo es cuando usamos un modelo saturado. Es decir, defina , donde indexa conjuntos en el conjunto …

31 logistic  generalized-linear-model 

¿Qué es una desviación estándar, cómo se calcula y cuál es su uso en estadísticas?

31 standard-deviation