Siempre es una buena idea (especialmente en los llamados proyectos ágiles) no apegarse a algún culto de carga o libro de texto que le diga "quién debe (no) hablar con quién", sino encender su cerebro y hacer lo que funcione mejor en un proyecto.
Aunque la comunicación entre PO y el cliente debe ser el estándar (debido a las razones expuestas por @PatrickHughes en su comentario), puede enfrentar una situación en la que se debe aclarar un requisito comercial complejo y la comunicación directa entre un desarrollador y un experto en negocios acelerará mucho las cosas. En tal situación, uno debe evitar jugar "susurro chino" con el PO en el medio, y dejar que el desarrollador y el experto en negocios se comuniquen directamente entre sí, para este contexto restringido.
Sin embargo, la orden de compra nunca debe pasarse por alto. Idealmente, él participa en esa conversación, probablemente como moderador. Puede verificar que el cliente no mencione requisitos completamente nuevos en la mesa durante la charla, o requisitos contrarios a lo acordado anteriormente.
Esto depende también de las personas involucradas y la situación. El PO puede confiar lo suficiente en el desarrollador específico y en el experto del cliente, como para dejar que los dos hablen solos sobre un tema específico, y dejar que informe lo que se dijo después. En otra situación, con otras personas involucradas, él podría preferir tomar una parte más activa. Tomar las decisiones correctas es el núcleo de una buena gestión de proyectos.