Estadísticas y Big Data

Recientemente tomé un curso introductorio sobre modelado multinivel. La mayoría de los conjuntos de datos y ejemplos que utilizamos eran de las ciencias sociales. Acabo de obtener una pasantía de 2 semanas en un departamento de bioestadística, donde quieren que comience un proyecto sobre la variación a nivel hospitalario de …

12 r  stata  multilevel-analysis  epidemiology 

Si deseamos realizar una prueba t pareada, el requisito es (si entiendo correctamente) que la diferencia de medias entre las unidades de medida coincidentes se distribuirá normalmente. En la prueba t pareada, eso se articula (AFAIK) en la demanda de que la diferencia entre las unidades de medida emparejadas se …

12 t-test  normality-assumption  assumptions 

¿Existe un análogo a las desigualdades de Chebyshev en el momento superior en el caso unilateral? La desigualdad de Chebyshev-Cantelli solo parece funcionar para la varianza, mientras que la desigualdad de Chebyshevs puede producirse fácilmente para todos los exponentes. ¿Alguien sabe de una desigualdad unilateral utilizando los momentos más altos?

12 approximation  moments  probability-inequalities 

Típicamente, cuando uno encuentra medidas de resultado continuas pero sesgadas en un diseño longitudinal (digamos, con un efecto entre sujetos), el enfoque común es transformar el resultado en normalidad. Si la situación es extrema, como en el caso de las observaciones truncadas, uno podría ponerse elegante y usar un modelo …

12 repeated-measures  data-transformation  skewness 

Si el Hosmer-Lemeshow indica una falta de ajuste, pero el AIC es el más bajo entre todos los modelos ... ¿aún debe usar el modelo? Si elimino una variable, la estadística de Hosmer-Lemeshow no es significativa (lo que significa que no hay una gran falta de ajuste). Pero la AIC …

12 regression  logistic  hosmer-lemeshow-test 

Estoy tratando de entender cómo se puede modificar el algoritmo de Lars para generar Lasso. Si bien entiendo LARS, no puedo ver la modificación de Lasso del documento de Tibshirani et al. En particular, no veo por qué la condición del signo es que el signo de la coordenada distinta …

12 lasso 

Tengo curiosidad acerca de la implementación práctica de una división binaria en un árbol de decisión, ya que se relaciona con los niveles de un predictor categórico .XjXjX{j} Específicamente, a menudo utilizaré algún tipo de esquema de muestreo (por ejemplo, embolsado, sobremuestreo, etc.) al construir un modelo predictivo utilizando un …

12 cart  rpart  partitioning 

P.ej. como los de esta página http://store.steampowered.com/hwsurvey ¿Hay algún software listo para usar que pueda hacer esto? Alternativamente, ¿alguna recomendación para otro software que haga algo similar? Sé que esta no es realmente una pregunta estadística, pero creo firmemente que los datos deben presentarse de una manera ordenada y atractiva …

12 data-visualization  interactive-visualization 

¿Cómo aproximado la siguiente integral usando la simulación MC? ∫1- 1∫1- 1El | x-yEl |d xd y∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y ¡Gracias! Editar (Algún contexto): estoy tratando de aprender a usar la simulación para aproximar integrales, y estoy haciendo algo de práctica cuando me encontré con algunas dificultades. Edición …

12 r  self-study  monte-carlo 

Estoy tratando de construir un SVM a partir de datos de entrenamiento donde un grupo está representado más que el otro. Sin embargo, los grupos estarán igualmente representados en los datos de la prueba eventual. Por lo tanto, me gustaría usar el class.weightsparámetro de la e1071interfaz del paquete R libsvmpara …

12 r  machine-learning  svm 

Por lo tanto, ha decidido apoyar la idea de una investigación reproducible y desea que sus datos estén disponibles en línea para que la gente los vea y los use. La pregunta es, ¿dónde lo aloja? Mi primera inclinación es, por supuesto, el espacio web privado que tengo en el …

12 reproducible-research 

Esta pregunta ilustra la dificultad de que una persona domine las estadísticas y la probabilidad por sí misma, frente a recursos débilmente desarrollados como Wikipedia. Se me ocurrió que consultar a los estadísticos, y hay algunos aquí, puede enfrentar el desafío de explicar ciertos conceptos y métodos a un cliente. …

12 teaching  references 

Sospecho que la mayoría de los usuarios de herramientas estadísticas son usuarios auxiliares (personas que han tenido poca o ninguna capacitación formal en estadística). Es muy tentador para los investigadores y otros profesionales aplicar métodos estadísticos a sus datos simplemente porque lo han visto "hecho antes" en artículos revisados ​​por …

12 dataset  methodology 

Estoy buscando modelar algunos datos, pero no estoy seguro de qué tipo de modelo puedo usar. Tengo datos de conteo y quiero un modelo que proporcione estimaciones paramétricas tanto de la media como de la varianza de los datos. Es decir, tengo varios factores predictivos y quiero determinar si alguno …

12 variance  modeling  count-data  overdispersion  gamlss 

Tengo que reducir la cantidad de variables para realizar un análisis de conglomerados. Mis variables están fuertemente correlacionadas, así que pensé en hacer un análisis factorial PCA (análisis de componentes principales). Sin embargo, si uso las puntuaciones resultantes, mis grupos no son del todo correctos (en comparación con las clasificaciones …

12 clustering  pca  feature-selection  factor-analysis