Preguntas etiquetadas con maximum-entropy

la entropía máxima o maxent es un principio estadístico derivado de la teoría de la información. Se piensa que las distribuciones que maximizan la entropía (bajo algunas restricciones) son "máximamente desinformativas" dadas las restricciones. La entropía máxima se puede utilizar para múltiples propósitos, como la elección del anterior, la elección del modelo de muestreo o el diseño de experimentos.

6
¿Por qué se maximiza la entropía cuando la distribución de probabilidad es uniforme?
Sé que la entropía es la medida de aleatoriedad de un proceso / variable y se puede definir de la siguiente manera. para una variable aleatoria conjunto : - . En el libro sobre entropía y teoría de la información de MacKay, él proporciona esta declaración en Ch2X∈X∈X \inAAAH(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i …
2
¿Cuál es la función de densidad de probabilidad de entropía máxima para una variable continua positiva de media dada y desviación estándar?
¿Cuál es la distribución máxima de entropía para una variable continua positiva, dados sus primeros y segundos momentos? Por ejemplo, una distribución gaussiana es la distribución de entropía máxima para una variable ilimitada, dada su media y desviación estándar, y una distribución Gamma es la distribución de entropía máxima para …
1
"Dado que
Pregunta corta: ¿Por qué es esto cierto? Larga pregunta: Muy simple, estoy tratando de descubrir qué justifica esta primera ecuación. El autor del libro que estoy leyendo (contexto aquí si lo desea, pero no es necesario), afirma lo siguiente: Debido a la suposición de casi gaussianismo, podemos escribir: pag0 0( …
1
Creación de un modelo de Markov de entropía máxima a partir de un clasificador de entropía máxima de múltiples entradas existente
Me intriga el concepto de un Modelo de Markov de máxima entropía (MEMM), y estoy pensando en usarlo para un etiquetador de Parte de discurso (POS). Por el momento, estoy usando un clasificador convencional de máxima entropía (ME) para etiquetar cada palabra individual. Esto utiliza una serie de características, incluidas …
1
¿Es la distribución de entropía máxima consistente con las distribuciones marginales dadas la distribución del producto de los marginales?
Generalmente hay muchas distribuciones conjuntas consistentes con un conjunto conocido de distribuciones marginales .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) De estas distribuciones conjuntas, ¿el producto formado tomando el producto de los marginales el que tiene la mayor entropía?∏ifi(xi)∏ifi(xi)\prod_i f_i(x_i) Ciertamente creo que …
1
Bayesiana vs máxima entropía
Suponga que la cantidad que queremos inferir es una distribución de probabilidad. Todo lo que sabemos es que la distribución proviene de un conjunto determinado, por ejemplo, por algunos de sus momentos y tenemos una previa .mimiEQQQ El principio de entropía máxima (MEP) dice que que tiene la entropía menos …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.