Estadísticas y Big Data

En su libro "Todas las estadísticas", el profesor Larry Wasserman presenta el siguiente ejemplo (11.10, página 188). Supongamos que tenemos una densidad tal que f ( x ) = cfff , donde g es una funciónconocida(no negativa, integrable), y la constante de normalización c > 0 esdesconocida.f(x)=cg(x)f(x)=cg(x)f(x)=c\,g(x)gggc>0c>0c>0 Estamos interesados ​​en …

62 bayesian  mathematical-statistics 

Al responder a esta pregunta, John Christie sugirió que el ajuste de los modelos de regresión logística debería evaluarse evaluando los residuos. Estoy familiarizado con la forma de interpretar los residuos en OLS, están en la misma escala que el DV y muy claramente la diferencia entre y e y …

62 r  logistic  generalized-linear-model  residuals  aic 

¿Es (siempre) cierto que Var(∑i=1mXi)=∑i=1mVar(Xi)?Var(∑i=1mXi)=∑i=1mVar(Xi)?\mathrm{Var}\left(\sum\limits_{i=1}^m{X_i}\right) = \sum\limits_{i=1}^m{\mathrm{Var}(X_i)} \>?

62 variance 

Estoy a punto de presentar la tabla normal estándar en mi clase introductoria de estadísticas, y eso me hizo preguntarme: ¿quién creó la primera tabla normal estándar? ¿Cómo lo hicieron antes de que aparecieran las computadoras? Me estremezco al pensar en alguien con fuerza bruta que calcula mil sumas de …

61 normal-distribution  algorithms  history  tables 

Entiendo que el Jeffreys anterior es invariante bajo re-parametrización. Sin embargo, lo que no entiendo es por qué se desea esta propiedad. ¿Por qué no querrías el cambio previo bajo un cambio de variables?

61 bayesian  prior 

El título del Comentario en Nature Scientists se levanta contra la significación estadística comienza con: Valentin Amrhein, Sander Greenland, Blake McShane y más de 800 signatarios piden el fin de los reclamos publicitados y el rechazo de posibles efectos cruciales. y luego contiene declaraciones como: Nuevamente, no abogamos por la …

61 statistical-significance  p-value  bias 

Soy bastante evangelista con respecto al uso de razones de probabilidad para representar la evidencia objetiva a favor / en contra de un fenómeno dado. Sin embargo, hace poco aprendí que el factor Bayes cumple una función similar en el contexto de los métodos bayesianos (es decir, el anterior subjetivo …

61 likelihood-ratio  bayes-factors 

Cuando intenta ajustar modelos a un gran conjunto de datos, el consejo común es dividir los datos en tres partes: el conjunto de datos de capacitación, validación y prueba. Esto se debe a que los modelos generalmente tienen tres "niveles" de parámetros: el primer "parámetro" es la clase de modelo …

61 machine-learning  model-selection  data-mining 

En la literatura sobre modelos jerárquicos / multinivel he leído a menudo sobre "modelos anidados" y "modelos no anidados", pero ¿qué significa esto? ¿Podría alguien darme algunos ejemplos o contarme sobre las implicaciones matemáticas de esta redacción?

61 hypothesis-testing  terminology  nested-models  nested-data 

La temporada navideña me ha dado la oportunidad de acurrucarme junto al fuego con The Elements of Statistical Learning . Viniendo desde una perspectiva econométrica (frecuentista), tengo problemas para comprender los usos de los métodos de contracción, como la regresión de crestas, el lazo y la regresión de ángulo mínimo …

61 lasso  ridge-regression  shrinkage  lars 

Veo que muchos algoritmos de aprendizaje automático funcionan mejor con la cancelación media y la ecualización de covarianza. Por ejemplo, las redes neuronales tienden a converger más rápido, y K-Means generalmente ofrece una mejor agrupación con características preprocesadas. No veo que la intuición detrás de estos pasos de preprocesamiento conduzca …

61 machine-learning  neural-networks  covariance  normalization 

¿Es posible tener una ecuación de regresión (múltiple) con dos o más variables dependientes? Claro, podría ejecutar dos ecuaciones de regresión separadas, una para cada DV, pero eso no parece capturar ninguna relación entre los dos DV.

61 regression 

La agrupación jerárquica se puede representar mediante un dendrograma. Cortar un dendrograma a cierto nivel da un conjunto de grupos. Cortar a otro nivel da otro conjunto de grupos. ¿Cómo elegirías dónde cortar el dendrograma? ¿Hay algo que podamos considerar un punto óptimo? Si miro un dendrograma a lo largo …

61 clustering  dendrogram 

Es una práctica común aplicar PCA (análisis de componentes principales) antes de un algoritmo de agrupamiento (como k-means). Se cree que mejora los resultados de agrupamiento en la práctica (reducción de ruido). Sin embargo, estoy interesado en un estudio comparativo y en profundidad de la relación entre PCA y k-means. …

61 clustering  pca  k-means 

¿Puede alguien explicarme por qué alguien elegiría un método estadístico paramétrico en lugar de uno no paramétrico para pruebas de hipótesis o análisis de regresión? En mi opinión, es como ir en balsa y elegir un reloj no resistente al agua, porque es posible que no lo mojes. ¿Por qué …

60 regression  hypothesis-testing  mathematical-statistics  estimation  nonparametric