Preguntas etiquetadas con information-theory

Una rama de las matemáticas / estadísticas utilizada para determinar la capacidad de transporte de información de un canal, ya sea uno que se utiliza para la comunicación o uno que se define en sentido abstracto. La entropía es una de las medidas por las cuales los teóricos de la información pueden cuantificar la incertidumbre involucrada en la predicción de una variable aleatoria.

2
Información mutua como probabilidad
¿Podría la información mutua sobre la entropía conjunta: 0 ≤ I( X, Y)H( X, Y)≤ 10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 se define como: "¿La probabilidad de transmitir una información de X a Y"? Lamento ser tan ingenuo, pero nunca he estudiado teoría de la información, y estoy tratando de …
2
¿Cuáles son buenas métricas para evaluar la calidad de un ajuste de PCA para seleccionar el número de componentes?
¿Cuál es una buena métrica para evaluar la calidad del análisis de componentes principales (PCA)? Realicé este algoritmo en un conjunto de datos. Mi objetivo era reducir la cantidad de funciones (la información era muy redundante). Sé que el porcentaje de variación mantenido es un buen indicador de la cantidad …
2
Prueba de hipótesis y distancia de variación total vs. divergencia Kullback-Leibler
En mi investigación me he encontrado con el siguiente problema general: tengo dos distribuciones PPP y QQQ sobre el mismo dominio, y una gran cantidad (pero finita) de muestras de esas distribuciones. Las muestras se distribuyen de forma independiente e idéntica a partir de una de estas dos distribuciones (aunque …
3
Los hiperplanos clasifican de manera óptima los datos cuando las entradas son condicionalmente independientes. ¿Por qué?
En el artículo titulado Deep Learning and the Information Bottleneck Principle, los autores declaran en la sección II A) lo siguiente: Las neuronas individuales clasifican solo entradas separables linealmente, ya que pueden implementar solo hiperplanos en su espacio de entrada . Los hiperplanes pueden clasificar de manera óptima los datos …
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.