Estadísticas y Big Data

¿Son los coeficientes de correlación phi y Matthews el mismo concepto? ¿Cómo se relacionan o equivalen al coeficiente de correlación de Pearson para dos variables binarias? Supongo que los valores binarios son 0 y 1. La correlación de Pearson entre dos variables aleatorias de Bernoulli e es:yXxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho = …

13 correlation  contingency-tables  bernoulli-distribution  model-evaluation  confusion-matrix 

Estoy haciendo algunos pronósticos en R usando el paquete de pronósticos de Rob Hyndman . El papel que pertenece al paquete se puede encontrar aquí . En el documento, después de explicar los algoritmos de pronóstico automático, los autores implementan los algoritmos en el mismo conjunto de datos. Sin embargo, …

13 time-series  forecasting  model-selection  aic 

He revisado mucha literatura disponible en línea, incluido este foro sin suerte y esperando que alguien pueda ayudarme con un problema estadístico que enfrento actualmente: Tengo 5 listas de datos clasificados, cada uno con 10 elementos clasificados de la posición 1 (mejor) a la posición 10 (peor). Por razones de …

13 statistical-significance  ranking  valuation 

En los últimos días he estado tratando de entender cómo funciona Markov Chain Monte Carlo (MCMC). En particular, he estado tratando de entender e implementar el algoritmo Metropolis-Hastings. Hasta ahora creo que tengo una comprensión general del algoritmo, pero hay algunas cosas que aún no me quedan claras. Quiero usar …

13 mcmc  metropolis-hastings 

Los grados de libertad en una regresión múltiple es igual a , donde es el número de variables.N−k−1N−k−1N-k-1kkk ¿ Incluye kkk la variable de respuesta (es decir, YYY )? Por ejemplo, en el modelo Y=B0+B1X1+B2X2Y=B0+B1X1+B2X2Y = B_0 + B_1X_1 + B_2X_2 , ¿ k=3k=3k = 3 (es decir, 1 df …

13 self-study  multiple-regression  degrees-of-freedom 

Solo estoy trabajando con el libro Inteligencia colectiva (de Toby Segaran) y encontré el puntaje de distancia euclidiana. En el libro, el autor muestra cómo calcular la similitud entre dos conjuntos de recomendaciones (es decir, .persona × película ↦ puntaje )person×movie↦score)\textrm{person} \times \textrm{movie} \mapsto \textrm{score}) Calcula la distancia euclidiana para …

13 distance-functions  similarities 

La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar.σIniciar sesión2( σ2 πmi---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es contraintuitivo porque la complejidad de normalización de Kolmogorov …

13 information-theory  entropy  randomness 

Para una variable aleatoria ( ) Siento intuitivamente que debería ser igual a ya que por la propiedad sin memoria la distribución de es la misma que la de pero desplazada a la derecha por .X∼Exp(λ)X∼Exp(λ)X\sim \text{Exp}(\lambda)E[X]=1λE[X]=1λ\mathbb{E}[X] = \frac{1}{\lambda}E[X|X>x]E[X|X>x]\mathbb{E}[X|X > x]x+E[X]x+E[X]x + \mathbb{E}[X]X|X>xX|X>xX|X > xXXXxxx Sin embargo, estoy luchando por …

13 random-variable  exponential  conditional-expectation 

Quiero calcular la función de supervivencia predicha para un modelo de riesgos proporcionales de Cox con términos de fragilidad [usando el paquete de supervivencia]. Parece que cuando hay términos de fragilidad en el modelo, la función de supervivencia predicha no se puede calcular. ## Example require(survival) data(rats) ## Create fake …

13 r  survival  cox-model  frailty 

Estoy siguiendo la pregunta que había hecho anteriormente sobre RBM . Veo mucha literatura que los describe, pero ninguno que en realidad habla de regresión (ni siquiera clasificación con datos etiquetados). Tengo la sensación de que se usa solo para datos no etiquetados. ¿Hay algún recurso para manejar la regresión? …

13 regression  machine-learning  classification  neural-networks 

Estoy buscando un código abierto o una biblioteca existente que pueda usar. Por lo que digo, el paquete glmnet no es fácilmente extensible para cubrir el caso no negativo. Puedo estar equivocado, cualquiera con alguna idea muy apreciada. Por no negativo quiero decir que todos los coeficientes están limitados a …

13 r  lasso 

¿Estabilidad beta en regresión lineal con alta multicolinealidad? Digamos que en una regresión lineal, las variables y x 2 tienen una alta multicolinealidad (la correlación es de alrededor de 0.9).X1x1x_1X2x2x_2 Nos preocupa la estabilidad del coeficiente , por lo que debemos tratar la multicolinealidad.ββ\beta La solución del libro de texto …

13 regression  multicollinearity 

Tengo dos muestras ( en ambos casos). Las medias difieren en aproximadamente el doble del estándar combinado. dev. El valor resultante es aproximadamente 10. Si bien es bueno saber que he demostrado de manera concluyente que las medias no son las mismas, me parece que esto se debe a la …

13 hypothesis-testing  t-test 

Digamos que se le dan dos conjuntos de datos multivariados, digamos uno antiguo y uno nuevo, y que se supone que fueron generados por el mismo proceso (para el que no tiene modelo), pero tal vez, en algún lugar a lo largo de la línea de recopilación / creación los …

13 multivariate-analysis 

Estoy usando el paquete 'lars' en R con el siguiente código: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + …

13 correlation  feature-selection  lasso  regularization  ridge-regression