Teoría de la información y optimización convexa.

Estoy tomando un curso de posgrado en teoría de la información y constantemente me sorprende la cantidad de optimización convexa que hay en esta materia. Sin embargo, las pruebas parecen eludir el uso de toda la maquinaria de la teoría de la relajación, la dualidad, etc. Esto es comprensible ya que no desea requerir un semestre completo de optimización convexa para enseñar estas cosas. Pero como alguien bastante versado en optimización, siento que me estoy perdiendo mucha elegancia e intuición cuando estos enlaces no se exploran más. A menudo noto pruebas que serían mucho más cortas si también hubiera utilizado el análisis convexo.

¿Hay libros que cubran más la teoría de la información desde esta perspectiva? La mayoría de las veces usamos apuntes de Stefan Moser, Y. Polyanskiy e Y. Wu, así como la teoría de información de red de El Gamal.

reference-request it.information-theory convex-optimization

— luegofuego
fuente

¿Puedes dar un ejemplo de tal "elegancia e intuición" en otro contexto?

— kodlu

Bueno, como uno de los muchos ejemplos, estábamos hablando de las propiedades de punto de silla de la capacidad del canal. Creo que se llama la formulación KL divergencia minmax o algo así. Está cubierto bastante bien en las notas de Polyanskiy que mencioné anteriormente. Lo que me sorprendió es que parecía ser exactamente una reformulación de la relajación / dualidad lagrangiana en un contexto diferente.

— luegofuego

Un ejemplo un poco más mundano podría ser cuando nos pidieron para demostrar la convexidad de la función de distorsión tasa, que es una prueba de una línea si usted recuerda algunas propiedades de infimums más conjuntos convexos, etc.

— luegofuego

Los libros a continuación pueden ser más de su agrado, pero en general, los textos / apuntes de clase están escritos para el uso (principalmente) de estudiantes de posgrado en ingeniería y no pueden presumir un profundo conocimiento del análisis convexo.

Csizsar, I. y Korner, J., Teoría de la información: teoremas de codificación para sistemas discretos sin memoria, 2ª ed., Cambridge.
Berger, T., Rate Distortion Theory, bastante antigua, probablemente de finales de los 70 o principios de los 80, no recuerdo al editor, tal vez Wiley.
Yeung, RW, primer curso de teoría de la información, Springer.

Los artículos de investigación sobre la teoría de Shannon y campos relacionados en, digamos, IEEE Transactions on Information Theory, pueden ajustarse mejor a la factura, aunque no siempre.

Un texto anterior que también puede ser de interés es

Wolfowitz, J., Teoremas de codificación de la teoría de la información, Springer, 1960.

— kodlu
fuente

solo un comentario, depende de lo que uno consideraría "profundo", por ejemplo, considero que la teoría de la información es más profunda que el análisis convexo (por ejemplo, porque tiene más aplicaciones en diversos campos) y prefiero reducir el análisis convexo a la teoría de la información. de viceversa. Se puede hacer si se quiere (digamos cómo a los teóricos de categorías les gustaría reducir todo a categorizadores en lugar de álgebra :)).

— Nikos M.

@ Nikos M., absolutamente, y simpatizo. Por ejemplo, algunos problemas de teoría de la información dan lugar a regiones de capacidad no convexa, por ejemplo, OFDMA.

— kodlu