Estadísticas y Big Data

Sé que hay un algoritmo de agrupación k-means y una mediana k. Uno que usa la media como el centro del grupo y el otro usa la mediana. Mi pregunta es: ¿cuándo / dónde usar cuál?

14 clustering  k-means 

Un amigo representa a un cliente en una apelación, después de un juicio penal en el que parece que la selección del jurado fue racialmente parcial. El jurado estuvo formado por 30 personas, en 4 grupos raciales. La fiscalía utilizó desafíos perentorios para eliminar a 10 de estas personas del …

14 probability  statistical-significance  references  bias  combinatorics 

Esta pregunta no pertenece específicamente R, pero elegí usarla Rpara ilustrarla. Considere el código para producir bandas de confianza alrededor de una línea qq (normal): library(car) library(MASS) b0<-lm(deaths~.,data=road) qqPlot(b0$resid,pch=16,line="robust") Estoy buscando una explicación de (o un enlace alternativo a un documento en papel / en línea que explique) cómo se …

14 confidence-interval  linear-model  qq-plot 

Tengo un problema de clasificación binaria de varias características. ¿Los coeficientes de una regresión logística (regularizada) tienen un significado interpretable? Pensé que podrían indicar el tamaño de la influencia, dado que las características se normalizan de antemano. Sin embargo, en mi problema, los coeficientes parecen depender sensiblemente de las características …

14 logistic  regression-coefficients 

A menudo escucho la afirmación de que las estadísticas bayesianas pueden ser muy subjetivas. El argumento principal es que la inferencia depende de la elección de un previo (a pesar de que uno podría usar el principio de indiferencia o entropía máxima para elegir un previo). En comparación, según el …

14 bayesian  interpretation  frequentist  philosophical 

El diagnóstico de Gelman y Rubin se utiliza para verificar la convergencia de múltiples cadenas mcmc que se ejecutan en paralelo. Compara la varianza dentro de la cadena con la varianza entre cadenas, la exposición es la siguiente: Pasos (para cada parámetro): Ejecute m ≥ 2 cadenas de longitud 2n …

14 mcmc  convergence  covariance-matrix 

¿Cómo llegó Pearson con las siguientes estadísticas chi-cuadrado de Pearson en 1900? que K∼χ2K=∑(Oij−Eij)2EijK=∑(Oij−Eij)2Eij K = \sum \frac{(O_{ij} -E_{ij})^2}{E_{ij}} K∼χ2K∼χ2 K \sim \chi^2 ¿Tenía en mente chi cuadrado e ideó la métrica (enfoque de abajo hacia arriba), o ideó la estadística y luego demostró que sigue la distribución de chi …

14 chi-squared  descriptive-statistics  history 

Estoy leyendo un artículo y el autor escribió: El efecto de A, B, C en Y se estudió mediante el uso de análisis de regresión múltiple. A, B, C se ingresaron en la ecuación de regresión con Y como la variable dependiente. El análisis de varianza se presenta en la …

14 regression  correlation  terminology 

Para evaluar el rendimiento de un nuevo algoritmo clasificador, estoy tratando de comparar la precisión y la complejidad (big-O en entrenamiento y clasificación). De Machine Learning: una revisión obtengo una lista completa de clasificadores supervisados, también una tabla de precisión entre los algoritmos y 44 problemas de prueba del repositorio …

14 machine-learning  classification  multiple-comparisons  algorithms  time-complexity 

Estoy buscando un método para calcular el área de superposición entre dos estimaciones de densidad del núcleo en R, como una medida de similitud entre dos muestras. Para aclarar, en el siguiente ejemplo, necesitaría cuantificar el área de la región superpuesta púrpura: library(ggplot2) set.seed(1234) d <- data.frame(variable=c(rep("a", 50), rep("b", 30)), …

14 r  probability  pdf  kernel-smoothing 

He leído en Abdi (2003) que Cuando las variables independientes son ortogonales por pares, el efecto de cada una de ellas en la regresión se evalúa calculando la pendiente de la regresión entre esta variable independiente y la variable dependiente. En este caso, (es decir, la ortogonalidad de los IV), …

14 regression  multiple-regression  regression-coefficients  terminology 

Estoy usando Wongpal Wabbit para resolver un problema de bandido contextual . Estoy mostrando anuncios a los usuarios y tengo bastante información sobre el contexto en el que se muestra el anuncio (por ejemplo, quién es el usuario, en qué sitio se encuentra, etc.). Este parece ser un problema de …

14 multinomial  gradient-descent  multiarmed-bandit  vowpal-wabbit  contextual-bandit 

He estado buscando varios hilos aquí, pero no creo que mi pregunta exacta sea respondida. Tengo un conjunto de datos de ~ 50,000 estudiantes y su tiempo de deserción. Voy a realizar una regresión de riesgos proporcionales con una gran cantidad de posibles covariables. También voy a hacer una regresión …

14 cross-validation  survival  train 

¿Cuál es el mejor software de visualización de datos de código abierto? Requiero lo siguiente: Puede importar datos desde Microsoft Excel (importar datos desde bases de datos Oracle también sería bueno, pero esto no es obligatorio). Los gráficos generados por el software se pueden exportar a Microsoft PowerPoint (copiar y …

14 data-visualization  excel  software  open-source 

El siguiente problema surgió recientemente al analizar los datos. Si la variable aleatoria X sigue una distribución normal e Y sigue una distribución χ2nχn2\chi^2_n (con n dof), ¿cómo se distribuye ? Hasta ahora se me ocurrió el pdf de : Y 2 ψ 2 n ( x )Z=X2+Y2Z=X2+Y2Z = X^2 …

14 probability  distributions  normal-distribution  chi-squared  convolution