Preguntas etiquetadas con information

Quiero medir la entropía / densidad de información / similitud de patrón de una matriz binaria bidimensional. Déjame mostrarte algunas fotos para aclarar: Esta pantalla debería tener una entropía bastante alta: UNA) Esto debería tener una entropía media: SI) Estas imágenes, finalmente, deberían tener una entropía cercana a cero: C) …

53 algorithms  binary-data  entropy  pattern-recognition  information 

Si el interés es simplemente estimar los parámetros de un modelo (estimación puntual y / o intervalo) y la información previa no es confiable, débil (sé que esto es un poco vago, pero estoy tratando de establecer un escenario donde la elección de un prior es difícil) ... ¿Por qué …

44 bayesian  inference  prior  likelihood  information 

Dado el siguiente modelo jerárquico, y, μ ~ L un p l a c e ( 0 , c ) donde N ( ⋅ , ⋅ ) es una distribución normal. ¿Hay alguna manera de obtener una expresión exacta para la información de Fisher de la distribución marginal de X …

20 multilevel-analysis  information  fisher-information 

Estoy tratando de demostrar que la matriz de información observada evaluada en el estimador de máxima verosimilitud débilmente consistente (MLE), es un estimador débilmente consistente de la matriz de información esperada. Este es un resultado ampliamente citado, pero nadie da una referencia o una prueba (creo que he agotado las …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

Como dice el título, ¿la reducción de dimensiones siempre pierde algo de información? Considere, por ejemplo, PCA. Si los datos que tengo son muy escasos, supongo que se podría encontrar una "mejor codificación" (¿está relacionado de alguna manera con el rango de los datos?), Y no se perdería nada.

10 pca  information-theory  information