Diría que HBM es ciertamente "más bayesiano" que EB, ya que marginar es un enfoque más bayesiano que optimizar. Esencialmente me parece que EB ignora la incertidumbre en los hiperparámetros, mientras que HBM intenta incluirlo en el análisis. Sospecho que HMB es una buena idea donde hay pocos datos y, por lo tanto, una incertidumbre significativa en los hiperparámetros, que deben tenerse en cuenta. Por otro lado, para grandes conjuntos de datos, EB se vuelve más atractivo, ya que generalmente es menos costoso computacionalmente y el volumen de datos a menudo significa que los resultados son mucho menos sensibles a la configuración de hiperparámetros.
He trabajado en clasificadores de procesos gaussianos y, a menudo, optimizo los hiperparámetros para maximizar los resultados de probabilidad marginal en un ajuste excesivo del NM y, por lo tanto, una degradación significativa en el rendimiento de generalización. Sospecho que en esos casos, un tratamiento completo de HBM sería más confiable, pero también mucho más costoso.