Los métodos de inferencia Bayesian y MaxEnt corresponden a diferentes formas de incorporar información en su procedimiento de modelado. Ambos se pueden poner en terreno axiomático ( "Axiomas de máxima entropía" de John Skilling y "Álgebra de inferencia probable" de Cox ).
El enfoque bayesiano es sencillo de aplicar si su conocimiento previo se presenta en forma de una función de valor real medible sobre su espacio de hipótesis, llamado "previo". MaxEnt es sencillo cuando la información viene como un conjunto de restricciones duras en su espacio de hipótesis. En la vida real, el conocimiento no se presenta en forma "previa" ni en forma "restrictiva", por lo que el éxito de su método depende de su capacidad para representar su conocimiento en la forma correspondiente.
En un problema de juguete, el promedio del modelo bayesiano le dará la pérdida de registro promedio más baja (promediada en muchos sorteos del modelo) cuando el anterior coincide con la verdadera distribución de hipótesis. El enfoque MaxEnt le dará la pérdida de registro más baja en el peor de los casos cuando se cumplan sus restricciones (el peor de todos los anteriores posibles)
ETJaynes, considerado padre de los métodos "MaxEnt" también se basó en los métodos bayesianos. En la página 1412 de su libro , da un ejemplo donde el enfoque bayesiano resultó en una buena solución, seguido de un ejemplo donde el enfoque MaxEnt es más natural.
La máxima probabilidad esencialmente toma que el modelo se encuentre dentro de un espacio de modelo predeterminado e intente ajustarlo "lo más difícil posible" en el sentido de que tendrá la mayor sensibilidad a los datos de todos los métodos de selección de modelos restringidos a dicho modelo espacio. Mientras que MaxEnt y Bayesian son marcos, ML es un método de ajuste de modelo concreto, y para algunas elecciones de diseño particulares, ML puede terminar el método saliendo del enfoque Bayesian o MaxEnt. Por ejemplo, MaxEnt con restricciones de igualdad es equivalente al ajuste de máxima verosimilitud de una determinada familia exponencial. Del mismo modo, una aproximación a la inferencia bayesiana puede conducir a una solución regularizada de máxima verosimilitud. Si elige su previo para hacer que sus conclusiones sean extremadamente sensibles a los datos, el resultado de la inferencia bayesiana corresponderá al ajuste de máxima verosimilitud. Por ejemplo,pags
Los éxitos del aprendizaje automático de la vida real a menudo son una mezcla de varias filosofías. Por ejemplo, los "Campos aleatorios" se derivaron de los principios de MaxEnt. La implementación más popular de la idea, CRF regularizado, implica agregar un "previo" en los parámetros. Como resultado, el método no es realmente MaxEnt ni Bayesiano, sino que está influenciado por ambas escuelas de pensamiento.
He recopilado algunos enlaces sobre fundamentos filosóficos de los enfoques Bayesian y MaxEnt aquí y aquí .
Nota sobre la terminología: a veces las personas llaman Bayesiano a su método simplemente si usa la regla de Bayes en algún momento. Del mismo modo, "MaxEnt" a veces se usa para algún método que favorece las soluciones de alta entropía. Esto no es lo mismo que "Inferencia MaxEnt" o "Inferencia Bayesiana" como se describió anteriormente