Estadísticas y Big Data

Me dijeron que es posible ejecutar una regresión IV de dos etapas donde la primera etapa es un probit y la segunda etapa es un OLS. ¿Es posible usar 2SLS si la primera etapa es un probit pero la segunda etapa es un modelo probit / poisson?

12 binary-data  instrumental-variables  probit  2sls 

Estoy examinando una parte de mi conjunto de datos que contiene 46840 valores dobles que van del 1 al 1690 agrupados en dos grupos. Para analizar las diferencias entre estos grupos, comencé examinando la distribución de los valores para elegir la prueba correcta. Siguiendo una guía sobre las pruebas de …

12 r  normal-distribution  normality-assumption  large-data 

He estado operando un negocio en línea durante dos años seguidos, así que tengo mis datos de ventas mensuales durante aproximadamente dos años. Mi negocio para cada mes ciertamente se ve afectado por el cambio estacional (funciona mejor en Navidad, etc.) y probablemente por otros factores que no conozco. Para …

12 time-series  forecasting 

¿Cuáles son las definiciones de los semi-conjugados anteriores y de los condicional conjugados anteriores ? Los encontré en el Análisis de datos bayesianos de Gelman , pero no pude encontrar sus definiciones.

12 bayesian 

En los métodos MCMC , sigo leyendo sobre el burn-intiempo o el número de muestras "burn". ¿Qué es esto exactamente y por qué es necesario? Actualizar: Una vez que MCMC se estabiliza, ¿permanece estable? ¿Cómo se relaciona la noción de burn-intiempo con la de tiempo de mezcla?

12 sampling  mcmc 

Quiero agrupar un conjunto de datos masivo para el que solo tengo las distancias por pares. Implementé un algoritmo k-medoids, pero está tardando demasiado en ejecutarse, así que me gustaría comenzar reduciendo la dimensión de mi problema aplicando PCA. Sin embargo, la única forma en que sé realizar este método …

12 pca  dimensionality-reduction  multidimensional-scaling 

Estoy evaluando dos (2) refrigerantes (gases) que se usaron en el mismo sistema de refrigeración. Tengo datos de temperatura de succión saturada ( ), temperatura de condensación ( ) y amperaje ( ) para la evaluación. Hay dos (2) conjuntos de datos; Primer refrigerante ( ) y segundo refrigerante ( …

12 regression  regression-coefficients 

Hadley Wickham escribió un artículo estelar llamado "Tidy Data" ( enlace ) en JSS el año pasado sobre la manipulación de datos y la obtención de los datos en una condición "óptima" para realizar el análisis. Sin embargo, me preguntaba cuáles eran las mejores prácticas en términos de presentar datos …

12 dataset  tables 

Aquí en Wikipedia dice: Para valores suficientemente grandes de λλλ , (digamos λ>1000λ>1000λ>1000 ), la distribución normal con media λλλ y varianza λλλ (desviación estándar λ−−√λ\sqrt{\lambda} ), es una excelente aproximación a la distribución de Poisson. Siλλλes mayor que aproximadamente 10, entonces la distribución normal es una buena aproximación si …

12 normal-distribution  poisson-distribution  approximation 

Mi formación es informática. Soy bastante nuevo en los métodos de muestreo de Monte Carlo y, aunque entiendo las matemáticas, me resulta difícil encontrar ejemplos intuitivos para el muestreo de importancia. Más precisamente, ¿alguien podría proporcionar ejemplos de: una distribución original de la que no se puede muestrear pero se …

12 probability  distributions  sampling  importance-sampling 

Quería entender mejor la prueba exacta del pescador, así que ideé el siguiente ejemplo de juguete, donde f y m corresponde a machos y hembras, y n e y corresponden a "consumo de refrescos" de esta manera: > soda_gender f m n 0 5 y 5 0 Obviamente, esta es …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

Esta es más una cuestión de historia de la ciencia, pero espero que sea sobre el tema aquí. He leído que Thomas Bayes solo logró descubrir el teorema de Bayes para el caso especial de un uniforme anterior, e incluso entonces luchó con él, aparentemente. Teniendo en cuenta cuán trivial …

12 bayesian  bayes  history 

Utilizo el paquete caret para entrenar un objeto randomForest con 10x10CV. library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) Después de eso, pruebo el randomForest en un testSet (nuevos datos) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) La matriz de confusión me muestra que …

12 r  random-forest  prediction  caret 

Está bien establecido, al menos entre los estadísticos de algún calibre más alto, que los modelos con los valores del estadístico AIC dentro de un cierto umbral del valor mínimo deben considerarse apropiados como el modelo que minimiza el estadístico AIC. Por ejemplo, en [1, p.221] encontramos Entonces, los modelos …

12 time-series  model-selection  aic 

¿Alguien tiene una idea de por qué la correlación condicional entre 2 variables se llama correlación "parcial" y la correlación simple entre ellas (entonces, cuando no está condicionada por ninguna otra variable) se llama correlación "marginal"? ¿Cuál es la intuición detrás de las palabras "parcial" y "marginal"? ¿Qué hacen con …

12 correlation  terminology  marginal  partial-correlation