Estadísticas y Big Data

ANOVA vs regresión lineal múltiple? Entiendo que ambos métodos parecen usar el mismo modelo estadístico. Sin embargo, ¿bajo qué circunstancias debo usar qué método? ¿Cuáles son las ventajas y desventajas de estos métodos en comparación? ¿Por qué ANOVA se usa con tanta frecuencia en estudios experimentales y casi nunca encuentro …

24 anova  multiple-regression  least-squares 

\newcommand{\P}{\mathbb{P}} Tenemos un proceso aleatorio que puede-o-no-puede aparecer varias veces en un período determinado de tiempo TTT . Tenemos una fuente de datos de un modelo preexistente de este proceso, que proporciona la probabilidad de que ocurran varios eventos en el período 0≤t&lt;T0≤t&lt;T0 \leq t < T . Este modelo …

24 negative-binomial  kalman-filter  poisson-process  state-space-models 

Como todos sabemos, hay 2 métodos para evaluar el modelo de regresión logística y están probando cosas muy diferentes. Poder de predicción: Obtenga una estadística que mida qué tan bien puede predecir la variable dependiente en función de las variables independientes. Los conocidos Pseudo R ^ 2 son McFadden (1974) …

24 r  logistic  goodness-of-fit  regression-strategies  model-evaluation 

Un enfoque común para la clasificación de texto es entrenar a un clasificador a partir de una "bolsa de palabras". El usuario toma el texto para clasificarlo y cuenta las frecuencias de las palabras en cada objeto, seguido de algún tipo de recorte para mantener la matriz resultante de un …

24 machine-learning  classification  text-mining 

Esta es una pregunta recurrente (vea esta publicación , esta publicación y esta publicación ), pero tengo un giro diferente. Supongamos que tengo un montón de muestras de una muestra genérica de MCMC. Para cada muestra θθ\theta , conozco el valor del log de verosimilitud Iniciar sesiónF( x | θ …

24 machine-learning  bayesian  sampling  mcmc  likelihood 

En cuanto a mi agregada (y escasos) conocimientos sobre estadísticas permisos, entendí que si X1,X2,...,XnX1,X2,...,XnX_1, X_2,..., X_n son variables aleatorias iid, luego, como el término implica, son independientes y están distribuidas de manera idéntica. Mi preocupación aquí es la antigua propiedad de muestras iid, que dice: p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(Xn|Xi1,Xi2,...,Xik)=p(Xn),p(X_{n}|X_{i_1},X_{i_2},...,X_{i_k}) = p(X_{n}), para …

24 sampling  conditional-probability  independence 

El aprendizaje automático (ML) utiliza técnicas de regresión lineal y logística en gran medida. También se basa en técnicas de ingeniería función ( feature transform, kernel, etc). ¿Por qué es nada acerca de variable transformation(por ejemplo power transformation) mencionado en ML? (Por ejemplo, nunca escuché acerca de cómo rootear o …

24 regression  machine-learning  data-transformation 

Dados puntos de datos, cada uno con d características, n / 2 están etiquetados como 0 , los otros n / 2 están etiquetados como 1 . Cada característica toma un valor de [0,1] al azar (distribución uniforme). ¿Cuál es la probabilidad de que exista un hiperplano que pueda dividir …

24 probability  classification  mathematical-statistics  separation 

Sé que mi pregunta / título no es muy específico, así que intentaré aclararlo: Las redes neuronales artificiales tienen diseños relativamente estrictos. Por supuesto, en general, están influenciados por la biología e intentan construir un modelo matemático de redes neuronales reales, pero nuestra comprensión de las redes neuronales reales es …

24 machine-learning  neural-networks  bioinformatics  artificial-intelligence  neuroscience 

Entonces esta pregunta es un poco desordenada, ¡pero incluiré gráficos coloridos para compensar eso! Primero los antecedentes y luego la (s) pregunta (s). Fondo Digamos que tiene una distribución multinomial dimensional con probailitas iguales sobre las categorías. Sea los recuentos normalizados ( ) de esa distribución, es decir:nnnnnnπ=(π1,…,πn)π=(π1,…,πn)\pi = (\pi_1, …

24 distributions  bayesian  bootstrap  multinomial  dirichlet-distribution 

Actualmente estoy usando AnomalyDetection de Twitter en R: https://github.com/twitter/AnomalyDetection . Este algoritmo proporciona detección de anomalías de series temporales para datos con estacionalidad. Pregunta: ¿hay otros algoritmos similares a este (no importa controlar la estacionalidad)? Estoy tratando de puntuar tantos algoritmos de series temporales como sea posible en mis datos …

24 r  regression  time-series  anomaly-detection 

Tengo 50,000 imágenes como estas dos: Representan gráficos de datos. Quería extraer características de estas imágenes, así que utilicé el código del codificador automático proporcionado por Theano (deeplearning.net). El problema es que estos autoencoders no parecen aprender ninguna característica. He intentado RBM y es lo mismo. El conjunto de datos …

24 machine-learning  neural-networks  feature-construction  rbm  autoencoders 

Bajo una definición clásica de un valor atípico como un punto de datos fuera del 1.5 * IQR desde el cuartil superior o inferior, se supone una distribución no sesgada. Para distribuciones sesgadas (exponencial, Poisson, geométrica, etc.), ¿es la mejor manera de detectar un valor atípico mediante el análisis de …

24 distributions  outliers  skewness  exponential  interquartile 

Tengo 17 años (1995 a 2011) de datos de certificados de defunción relacionados con muertes por suicidio para un estado en los EE. UU. Hay mucha mitología sobre suicidios y los meses / estaciones, en gran parte contradictorios, y de la literatura I ' He revisado, no tengo una idea …

24 r  chi-squared  arima  count-data  seasonality 

Hay diferentes programas de implementación disponibles para el lazo . Sé mucho sobre el enfoque bayesiano frente al enfoque frecuentista en diferentes foros. Mi pregunta es muy específica para el lazo: ¿Cuáles son las diferencias o ventajas del lazo baysiano en comparación con el lazo normal ? Aquí hay dos …

24 r  machine-learning  linear-model  lasso