Preguntas etiquetadas con mutual-information

Quiero cuantificar la relación entre dos variables, A y B, utilizando información mutua. La forma de calcularlo es agrupando las observaciones (ver ejemplo de código Python a continuación). Sin embargo, ¿qué factores determinan qué número de contenedores es razonable? Necesito que el cálculo sea rápido, así que no puedo simplemente …

10 information-theory  mutual-information  binning 

Estoy tratando de entender la forma normalizada de información mutua puntual. n p m i = p m i ( x , y)l o g( p ( x , y) )npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} ¿Por qué la probabilidad conjunta logarítmica normaliza la información mutua puntual entre [-1, 1]? La información mutua …

9 entropy  information-theory  mutual-information 

Tengo problemas para desarrollar cierta intuición sobre la entropía conjunta. = incertidumbre en la distribución conjunta p ( x , y ) ; H ( X ) = incertidumbre en p x ( x ) ; H ( Y ) = incertidumbre en p y ( y ) .H( X, …

9 information-theory  mutual-information 

Supongamos que tengo una muestra de frecuencias de 4 eventos posibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 y tengo las probabilidades esperadas de que ocurran mis eventos: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Con la suma de las …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

¿Cuál es la diferencia entre la correlación cruzada y la información mutua? ¿Qué tipo de problemas se pueden resolver con estas medidas y cuándo es apropiado usar uno sobre el otro? Gracias por los comentarios. Para aclarar, la pregunta surge por un interés en el análisis de iomage en lugar …

9 cross-correlation  mutual-information