¿Cómo envío un mensaje OSD de notificación a un usuario remoto a través de ssh?

A veces necesitamos enviar un mensaje a un usuario remoto. Podemos mostrar mensajes en nuestro escritorio local usando Notify OSD, pero no podemos enviar un mensaje al escritorio del usuario remoto.

Intentamos lo siguiente:

ssh user@remote   
notify-send message

-> Envía un mensaje a la pantalla local pero no a la remota.

ssh admin@remote
sudo -u user "notify-send message"
sudo: notify-send user: command not found

-> Hubo un error de comando no encontrado.

ssh -X user@remote "DISPLAY=:0 notify-send message"

-> De nuevo envía el mensaje solo a mi casilla local.

¿Hay alguna forma de enviar un mensaje al escritorio remoto?

Has probado

ssh user@host 'DISPLAY=:0 notify-send "TEST MESSAGE."'

Respuesta tomada de ubuntuforums.org/showthread.php?t=1240828 (sin la -Xopción sugerida por jjmontes )