Preguntas etiquetadas con kullback-leibler

Optar por parametrizar la distribución gamma Γ ( b , c )Γ(si,C)\Gamma(b,c) por el pdf g(x;b,c)=1Γ(c)xc−1bce-x/bg(x;b,c)=1Γ(c)Xc-1siCmi-X/ /sig(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b} La divergencia Kullback-Leibler entreΓ(bq,cq)Γ(bq,cq)\Gamma(b_q,c_q)yΓ(bp,cp)Γ(bp,cp)\Gamma(b_p,c_p)viene dada por [1] como KLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−logbq−cq−logΓ(cq)+logΓ(cp)+cplogbp−(cp−1)(Ψ(cq)+logbq)+bqcqbpKLGa(bq,cq;bp,cp)=(cq−1)Ψ(cq)−log⁡bq−cq−log⁡Γ(cq)+log⁡Γ(cp)+cplog⁡bp−(cp−1)(Ψ(cq)+log⁡bq)+bqcqbp\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} …

15 kullback-leibler  gamma-distribution  exponential-family 

Estoy usando KL divergencia como una medida de disimilitud entre 2 y .P Qp.m.f.p.m.f.p.m.f. PPPQQQ =-∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))DKL(P||Q)=∑i=1Nln(PiQi)PiDKL(P||Q)=∑i=1Nln⁡(PiQi)PiD_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i =−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=−∑P(Xi)ln(Q(Xi))+∑P(Xi)ln(P(Xi))=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right) Si , podemos calcular fácilmente que P ( X i ) l n ( Q ( X i ) ) = 0 …

15 distributions  distance  kullback-leibler 

Estoy comparando dos distribuciones con la divergencia KL que me devuelve un número no estandarizado que, según lo que leí sobre esta medida, es la cantidad de información que se requiere para transformar una hipótesis en la otra. Tengo dos preguntas: a) ¿Hay alguna manera de cuantificar una divergencia KL …

14 distributions  kullback-leibler  information-geometry 

Voy a usar la divergencia de KL en mi código de Python y obtuve este tutorial . En ese tutorial, implementar la divergencia de KL es bastante simple. kl = (model * np.log(model/actual)).sum() Según tengo entendido, la distribución de probabilidad de modely actualdebería ser <= 1. Mi pregunta es, ¿cuál …

14 machine-learning  distance  kullback-leibler 

Sé que KL Divergence no es simétrica y no puede considerarse estrictamente como una métrica. Si es así, ¿por qué se usa cuando JS Divergence satisface las propiedades requeridas para una métrica? ¿Hay escenarios en los que se puede utilizar la divergencia KL pero no la divergencia JS o viceversa?

14 probability  distributions  kullback-leibler  metric 

Si es una distribución de probabilidad con valores distintos de cero en , para qué tipo (s) de existe una constante tal que para todos ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 La desigualdad anterior es en realidad una divergencia Kullback-Leibler entre la distribución y una versión comprimida de ella …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

No soy matemático. He buscado en Internet sobre KL Divergence. Lo que aprendí es que la divergencia KL mide la información perdida cuando aproximamos la distribución de un modelo con respecto a la distribución de entrada. Los he visto entre dos distribuciones continuas o discretas. ¿Podemos hacerlo entre continuo y …

12 distributions  mathematical-statistics  kullback-leibler 

He visto en algunos puntos el uso de la derivada Radon-Nikodym de una medida de probabilidad con respecto a otra, especialmente en la divergencia Kullback-Leibler, donde es la derivada de la medida de probabilidad de un modelo para algún parámetro arbitrario con respecto al parámetro real :θθ\thetaθ0θ0\theta_0 dPθdPθ0dPθdPθ0\frac {dP_\theta}{dP_{\theta_0}} Donde …

11 mathematical-statistics  kullback-leibler  derivative  measure-theory 

El mgcvpaquete Rtiene dos funciones para ajustar las interacciones del producto tensorial: te()y ti(). Entiendo la división básica del trabajo entre los dos (ajustar una interacción no lineal versus descomponer esta interacción en efectos principales y una interacción). Lo que no entiendo es por qué te(x1, x2)y ti(x1) + ti(x2) …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

Estoy ejecutando una simulación rápida para comparar diferentes métodos de agrupación, y actualmente me encuentro con un problema tratando de evaluar las soluciones de agrupación. Conozco varias métricas de validación (muchas de ellas se encuentran en cluster.stats () en R), pero supongo que es mejor usarlas si el número estimado …

11 clustering  kullback-leibler  gaussian-mixture 

Traté de implementar una estimación numérica de la divergencia Kullback-Leibler para dos muestras. Para depurar la implementación, extraiga las muestras de dos distribuciones normales y .N ( 1 , 2 )norte( 0 , 1 )N(0,1)\mathcal N (0,1)norte( 1 , 2 )N(1,2)\mathcal N (1,2) Para una estimación simple, generé dos histogramas …

10 estimation  intuition  kullback-leibler  numerics 

Tengo tres conjuntos de datos X, Y y Z. Cada conjunto de datos define la frecuencia de un evento. Por ejemplo: Conjunto de datos X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0, etc. Conjunto de datos Y: E1: 2, E2: 3, E3: 7, E4: 6, …

10 kullback-leibler 

En mi investigación me he encontrado con el siguiente problema general: tengo dos distribuciones PPP y QQQ sobre el mismo dominio, y una gran cantidad (pero finita) de muestras de esas distribuciones. Las muestras se distribuyen de forma independiente e idéntica a partir de una de estas dos distribuciones (aunque …

10 hypothesis-testing  mathematical-statistics  kullback-leibler  information-theory  bounds 

He estado implementando un VAE y he notado dos implementaciones diferentes en línea de la divergencia KL gaussiana univariada simplificada. La divergencia original según aquí es Si suponemos que nuestro anterior es una unidad gaussiana, es decir,μ2=0yσ2=1, esto se simplifica a KLloss=-log(σ1)+σ 2 1 +μ 2 1KLl o s s= …

10 inference  kullback-leibler  autoencoders  variational-bayes 

Este es solo un ejemplo que he encontrado varias veces, por lo que no tengo ningún dato de muestra. Ejecutar un modelo de regresión lineal en R: a.lm = lm(Y ~ x1 + x2) x1Es una variable continua. x2es categórico y tiene tres valores, por ejemplo, "Bajo", "Medio" y "Alto". …

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction