Estadísticas y Big Data

Para una aplicación, quiero agrupar datos (potencialmente de alta dimensión) y extraer la probabilidad de pertenecer a un clúster. Considero en este momento mapas autoorganizados o kernel k-means para hacer el trabajo. ¿Cuáles son los pros y los contras de cada clasificador para esta tarea? ¿Me estoy perdiendo otros algoritmos …

8 clustering  unsupervised-learning 

Hace un tiempo hice una pregunta sobre la correlación de tiempos entre marcas de tiempo y recibí una respuesta de Peter Ellis que decía que podía calcular distancias medias entre códigos ... Esto ya le dará una idea de qué comportamientos se agrupan, pero también debe verificar que esto no …

8 bootstrap  monte-carlo  resampling  quasi-monte-carlo 

Tengo el siguiente tipo de datos (codificados en R): v.a = c('cat', 'dog', 'dog', 'goat', 'cat', 'goat', 'dog', 'dog') v.b = c(1, 2, 1, 2, 1, 2, 1, 2) v.c = c('blue', 'red', 'blue', 'red', 'red', 'blue', 'yellow', 'yellow') set.seed(12) v.d = rnorm(8) aov(v.a ~ v.b + v.c + v.d) …

8 r  logistic  anova  categorical-data  multinomial 

La subitización es la enumeración rápida y precisa de las pantallas de baja numerosidad, que se distingue del conteo por una no linealidad aguda en la gráfica de tiempos de respuesta. A continuación se muestra una trama representativa, de Watson, DG, Maylor, EA y Bruce, LAM (2007). Observe que los …

8 linear-model  contrasts 

En una conferencia reciente me dijeron que, para que la estimación de máxima verosimilitud sea válida, la probabilidad de registro debe ir a menos infinito a medida que el parámetro va al límite del espacio del parámetro. Pero no entiendo por qué esto es esencial. Supongamos que la probabilidad de …

8 maximum-likelihood 

Mi pregunta general es: ¿por qué usar en bayesglmlugar de otros métodos de clasificación? Nota: Solo me interesa la predicción. Tengo una cantidad decente de datos (~ 100,000 obs). Siento que el tamaño de la muestra es lo suficientemente grande como para que los parámetros de una regresión logística regular …

8 bayesian  generalized-linear-model 

La naturaleza discreta del DP lo hace inadecuado para aplicaciones generales en no paramétricos bayesianos, pero es muy adecuado para el problema de colocar priors en los componentes de la mezcla en el modelado de mezclas. Esta cita es de Procesos de Dirichlet jerárquicos (Teh, et al, (2006)[ 1 ][1]^{[1]}) …

8 machine-learning  mcmc  dirichlet-process 

¿Sería posible aproximar con precisión las cantidades relativas de Loonies , Twoonies , cuartos, monedas de diez centavos, monedas de cinco centavos (y quizás el centavo descontinuado) en circulación simplemente obteniendo una muestra lo suficientemente grande de monedas a través del uso diario? Por uso diario, me refiero a las …

8 self-study  application 

Estoy tratando de predecir una variable de respuesta en regresión lineal que siempre debe ser positiva (costo por clic). Es una cantidad monetaria. En AdWords, usted paga a Google por los clics en sus anuncios, y un número negativo significaría que Google le paga cuando la gente hace clic: P …

8 regression  predictive-models 

Tengo un pequeño conjunto de datos no balanceados (70 positivos, 30 negativos), y he estado jugando con la selección del modelo para los parámetros SVM usando BAC (precisión equilibrada) y AUC (área bajo la curva). Utilicé diferentes pesos de clase para el parámetro C en libSVM para compensar los datos …

8 svm  cross-validation  model-selection  auc 

Estoy tratando de generar conjuntos de variables aleatorias causalmente conectadas y comencé a hacer esto con un enfoque de Monte Carlo. La línea de base es un histograma medido bidimensional del que extraigo valores aleatorios. En mis ejemplos concretos, estas variables son la aceleración unaa\bf{a} y velocidad vv\bf{v} - obviamente …

8 monte-carlo  random-generation 

Esta pregunta ha surgido en otro hilo que comencé, así que pensé que obtendría la opinión de más personas al respecto. Mi pregunta es ¿Es el residual, e, un estimador del error, ?ϵϵ\epsilon La razón por la que pregunto es la siguiente. En OLS, la varianza de los residuos, , …

8 standard-error  residuals  error  estimators 

Estoy trabajando con el código forestal aleatorio de Breiman ( http://stat-www.berkeley.edu/users/breiman/RandomForests/cc_manual.htm#c2 ) para la clasificación de datos satelitales (aprendizaje supervisado). Estoy usando un conjunto de datos de entrenamiento y prueba que tiene un tamaño de muestra de 2000 y un tamaño variable 10. Los datos se clasifican en dos clases, …

8 machine-learning  classification  random-forest 

He leído las siguientes publicaciones que respondieron a la pregunta que iba a hacer: Utilice el modelo de bosque aleatorio para hacer predicciones a partir de datos del sensor Árbol de decisión para la predicción de salida Esto es lo que he hecho hasta ahora: comparé la regresión logística con …

8 random-forest  prediction 

En una distribución de Poisson, la media es igual a la varianza. Me gustaría encontrar un intervalo de confianza de la varianza. ¿Es correcto mi razonamiento a continuación? Usando el teorema del límite central, construyo un intervalo de confianza del 95% para la mediaμμ\mu L ≤ μ ≤ UL≤μ≤UL \leq …

8 confidence-interval  variance  poisson-distribution