Usar la geometría de la información para definir distancias y volúmenes ... ¿útil?

13

Me encontré con un gran cantidad de literatura que aboga por usar la métrica de información de Fisher como una métrica local natural en el espacio de distribuciones de probabilidad y luego integrarla para definir distancias y volúmenes.

Pero, ¿son realmente útiles estas cantidades "integradas" para algo? No encontré justificaciones teóricas y muy pocas aplicaciones prácticas. Uno es el trabajo de Guy Lebanon, donde utiliza "La distancia de Fisher" para clasificar documentos y otro es el ABC de Selección de modelos de Rodríguez ... donde se usa el "Volumen de Fisher" para la selección de modelos. Aparentemente, el uso de "volumen de información" proporciona una mejora de "órdenes de magnitud" sobre AIC y BIC para la selección del modelo, pero no he visto ningún seguimiento de ese trabajo.

Una justificación teórica podría ser tener un límite de generalización que use esta medida de distancia o volumen y sea mejor que los límites derivados de MDL o argumentos asintóticos, o un método que se base en una de estas cantidades que sea demostrablemente mejor en alguna situación razonablemente práctica. ¿Algún resultado de este tipo?

model-selection information-geometry

— Yaroslav Bulatov
fuente

La información de Fisher proporciona un límite inferior en la estimación de parámetros. Es una métrica natural porque dice más o menos algo así como "en esta dirección la dificultad de mi problema no puede disminuir más que eso". ¿Lo que llamas límites de generalización son límites superiores? ¿Desea conocer el rendimiento del método que utiliza la métrica de Fisher (el gran cuerpo que menciona es una buena lista)? lo siento pero realmente no entiendo la pregunta :) ¿puedes reformular ese punto?

— robin girard

Digamos que la Matriz de información de Fisher da nuestro tensor métrico riemanniano. Nos permite encontrar la longitud de arco de cualquier curva mediante la integración. Luego define la distancia entre p y q como la longitud de arco más pequeña sobre todas las curvas que conectan p y q. Esta es la medida de distancia que estoy preguntando. Lo mismo con el volumen.

— Yaroslav Bulatov

1

Entonces, solo como ejemplo, Rodríguez obtiene una mejora significativa al usar el "volumen de información" como medida de la complejidad del modelo, pero sorprendentemente no puedo ver a nadie más probando esto

— Yaroslav Bulatov

5

Hubo un documento leído la semana pasada en la Royal Statistical Society sobre las técnicas de MCMC sobre los múltiples de Riemann, principalmente utilizando la métrica de información de Fisher: http://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

Los resultados parecen prometedores, aunque como señalan los autores, en muchos modelos de interés (como los modelos de mezcla) la información de Fisher no tiene forma analítica.

— Simon Byrne
fuente

1

¿Es ese el documento "Langevin múltiple de Riemann"? ¿Integrar la información de Fisher en algún momento?

— Yaroslav Bulatov

4

El argumento más conocido es que la métrica del pescador, que es invariable para coordinar transformaciones, puede usarse para formular un previo no informado (anterior de Jeffreys). ¡No estoy seguro de comprarlo!

Menos conocido, es que a veces estas "cantidades integradas" resultan ser divergencias y tal, uno puede argumentar que las distancias de los pescadores generan un conjunto generalizado de divergencias (y sus propiedades).

Pero aún así, todavía no he encontrado una buena descripción intuitiva de la información del pescador y las cantidades que genera. Por favor dime si encuentras uno.

— Lucas
fuente

Se conocen muchas cosas sobre Fisher Information, son integrales de información de Fisher de las que no estoy seguro. No estoy familiarizado con lo que dices de Fisher información se convierta en alguna divergencia conocida en la integración

— Yaroslav Bulatov

4

La razón por la que "no hay seguimiento" es que muy pocas personas entienden el trabajo de Rodríguez en esto desde hace muchos años. Es algo importante y veremos más en el futuro, estoy seguro.

Sin embargo, algunos argumentarían que la métrica de Fisher es solo una aproximación de segundo orden a la métrica verdadera (por ejemplo, el documento de Neumann sobre el establecimiento de antecedentes entrópicos ) que en realidad se define por la distancia Kullback-Liebler (o generalizaciones de la misma) y que conduce a la formulación de Zellner de MDI anteriores.

— Miguel
fuente