Preguntas etiquetadas con information-theory

Una rama de las matemáticas / estadísticas utilizada para determinar la capacidad de transporte de información de un canal, ya sea uno que se utiliza para la comunicación o uno que se define en sentido abstracto. La entropía es una de las medidas por las cuales los teóricos de la información pueden cuantificar la incertidumbre involucrada en la predicción de una variable aleatoria.

3
Definición y origen de "entropía cruzada"
Sin citar fuentes, Wikipedia define la entropía cruzada de distribuciones discretas y comoPAGPAGPQQQ H×( P; Q )= - ∑Xp ( x )Iniciar sesiónq( X ) .H×(PAG;Q)=-∑Xpag(X)Iniciar sesión⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} ¿Quién fue el primero en comenzar a usar esta cantidad? ¿Y quién inventó este término? …
1
Cualitativamente, ¿qué es la entropía cruzada?
Esta pregunta da una definición cuantitativa de entropía cruzada, en términos de su fórmula. Estoy buscando una definición más teórica, wikipedia dice: En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad mide el número promedio de bits necesarios para identificar un evento a partir de un …
1
¿Cómo interpretar la entropía diferencial?
Recientemente leí este artículo sobre la entropía de una distribución de probabilidad discreta. Describe una buena manera de pensar en la entropía como los bits de número esperados (al menos cuando se usa en su definición de entropía) necesarios para codificar un mensaje cuando su codificación es óptima, dada la …
4
Concepto conjunto típico
Pensé que el concepto de conjunto típico era bastante intuitivo: una secuencia de longitud pertenecería al conjunto típico si la probabilidad de que la secuencia saliera fuera alta. Entonces, cualquier secuencia que probablemente esté en . (Estoy evitando la definición formal relacionada con la entropía porque estoy tratando de entenderla …
3
Referencias que justifican el uso de mezclas gaussianas
Los modelos de mezcla gaussiana (GMM) son atractivos porque son fáciles de trabajar tanto en el análisis como en la práctica, y son capaces de modelar algunas distribuciones exóticas sin demasiada complejidad. Hay algunas propiedades analíticas que deberíamos tener que no están claras en general. En particular: SnSnS_nnnnPPPnnnPPPlimn→∞infP^∈SnD(P||P^)=0?limn→∞infP^∈SnD(P||P^)=0?\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} …
1
Entropía diferencial
La entropía diferencial de la RV gaussiana es . Esto depende de , que es la desviación estándar.σIniciar sesión2( σ2 πmi---√)log2⁡(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si normalizamos la variable aleatoria para que tenga una varianza unitaria, su entropía diferencial cae. Para mí, esto es contraintuitivo porque la complejidad de normalización de Kolmogorov …
2
Diferentes definiciones de AIC
De Wikipedia hay una definición del Criterio de información de Akaike (AIC) como , donde k es el número de parámetros y log L es la probabilidad de registro del modelo.Un yoC= 2 k - 2 logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkkIniciar sesiónLlog⁡L\log L Sin embargo, nuestros notas …
1
Diferencias entre PROC Mixed y lme / lmer en R - grados de libertad
Nota: esta pregunta es una nueva publicación, ya que mi pregunta anterior tuvo que ser eliminada por razones legales. Al comparar PROC MIXED de SAS con la función lmedel nlmepaquete en R, me topé con algunas diferencias bastante confusas. Más específicamente, los grados de libertad en las diferentes pruebas difieren …
12 r  mixed-model  sas  degrees-of-freedom  pdf  unbiased-estimator  distance-functions  functional-data-analysis  hellinger  time-series  outliers  c++  relative-risk  absolute-risk  rare-events  regression  t-test  multiple-regression  survival  teaching  multiple-regression  regression  self-study  t-distribution  machine-learning  recommender-system  self-study  binomial  standard-deviation  data-visualization  r  predictive-models  pearson-r  spearman-rho  r  regression  modeling  r  categorical-data  data-visualization  ggplot2  many-categories  machine-learning  cross-validation  weka  microarray  variance  sampling  monte-carlo  regression  cross-validation  model-selection  feature-selection  elastic-net  distance-functions  information-theory  r  regression  mixed-model  random-effects-model  fixed-effects-model  dataset  data-mining 
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.