Estadísticas y Big Data

Recientemente me encontré con escalamiento multidimensional. Estoy tratando de comprender mejor esta herramienta y su papel en las estadísticas modernas. Aquí hay algunas preguntas orientadoras: ¿Qué preguntas responde? ¿Qué investigadores a menudo están interesados ​​en usarlo? ¿Existen otras técnicas estadísticas que realizan funciones similares? ¿Qué teoría se desarrolla a su …

18 multidimensional-scaling 

He estado usando SAS profesionalmente durante casi 5 años. Lo tengo instalado en mi computadora portátil y con frecuencia tengo que analizar conjuntos de datos con 1,000-2,000 variables y cientos de miles de observaciones. He estado buscando alternativas a SAS que me permitan realizar análisis en conjuntos de datos de …

18 r  sas  large-data 

¿Cuál es el valor dado en el resumen de un modelo coxph en R? Por ejemplo,R2R2R^2 Rsquare= 0.186 (max possible= 0.991 ) Lo incluí tontamente como un manuscrito como un valor y el revisor saltó sobre él diciendo que no estaba al tanto de un análogo del estadístico R ^ …

18 r  survival  r-squared  cox-model 

Solo para aclarar, cuando me refiero a las estadísticas de resumen, me refiero a la media, los rangos de cuartiles medios, la varianza, la desviación estándar. Al resumir un univariante que es categórico o cualitativo , considerando los casos nominales y ordinales , ¿tiene sentido encontrar su media, mediana, rangos …

18 categorical-data  descriptive-statistics 

Tengo alguna variable distribuida no gaussiana y necesito verificar si hay diferencias significativas entre los valores de esta variable en 5 grupos diferentes. He realizado un análisis de varianza unidireccional de Kruskal-Wallis (que resultó significativo) y luego tuve que verificar qué grupos eran significativamente diferentes. Como los grupos están ordenados …

18 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Estoy trabajando en una aplicación de encuesta de salud abierta, planeada para ser utilizada en países en desarrollo. La idea básica es que las entrevistas de la encuesta son de crowdsourcing : son realizadas por voluntarios no organizados que envían datos de formularios de las entrevistas que realizaron utilizando sus …

18 sampling 

Aprendí que la suma de las variables aleatorias exponenciales sigue la distribución Gamma. Pero en todas partes que leo la parametrización es diferente. Por ejemplo, Wiki describe la relación, pero no dice qué significan realmente sus parámetros. Forma, escala, tasa, 1 / tasa? Distribución exponencial: ~Xxxe x p ( λ …

18 distributions  probability  gamma-distribution 

No sé si soy solo yo, pero soy muy escéptico de las estadísticas en general. Puedo entenderlo en juegos de dados, juegos de póker, etc. Los juegos repetidos muy pequeños, simples y en su mayoría autónomos están bien. Por ejemplo, una moneda que cae en su borde es lo suficientemente …

18 probability  expected-value  philosophical 

Parece que los expertos en visualización de datos generalmente desaprueban los gráficos de indicadores (ver aquí: ¿cómo se llama un gráfico que se parece a un medio gráfico circular con una aguja que indica un porcentaje? ). La razón principal es que un gráfico de indicadores tiene una relación baja …

18 data-visualization 

Tal como está actualmente, esta pregunta no es adecuada para nuestro formato de preguntas y respuestas. Esperamos que las respuestas sean respaldadas por hechos, referencias o experiencia, pero esta pregunta probablemente solicitará debate, argumentos, encuestas o discusión extendida. Si cree que esta pregunta se puede mejorar y posiblemente volver a …

18 machine-learning  text-mining  natural-language 

Dos preguntas relacionadas de mi parte. Tengo un marco de datos que contiene números de pacientes en una columna (rango 10-17 pacientes) y 0s y 1s que muestran si ocurrió un incidente ese día. Estoy usando un modelo binomial para hacer retroceder la probabilidad de incidente en el número de …

18 binomial  generalized-linear-model  offset 

Hay palabras de "Los elementos del aprendizaje estadístico" en la página 91: Los centroides K en el espacio de entrada p-dimensional abarcan en la mayoría del subespacio dimensional K-1, y si p es mucho más grande que K, esto será una caída considerable en la dimensión. Tengo dos preguntas: ¿Por …

18 machine-learning  discriminant-analysis 

Realicé con R y ANOVA y obtuve diferencias significativas. Sin embargo, al verificar qué pares eran significativamente diferentes usando el procedimiento de Tukey, no obtuve ninguno de ellos. como puede ser esto posible? Aquí está el código: fit5_snow<- lm(Response ~ Stimulus, data=audio_snow) anova(fit5_snow) > anova(fit5_snow) Analysis of Variance Table Response: …

18 anova  post-hoc  tukey-hsd 

Estoy confundido acerca de cómo calcular la perplejidad de una muestra reservada cuando se realiza la Asignación de Dirichlet Latente (LDA). Los documentos sobre el tema brillan sobre él, haciéndome pensar que me falta algo obvio ... La perplejidad se ve como una buena medida de rendimiento para LDA. La …

18 text-mining  topic-models 

¿Es "margen de error" lo mismo que "error estándar"? ¡Un ejemplo (simple) para ilustrar la diferencia sería genial!

18 definition