Honestamente, he tenido un éxito terrible con los servidores VNC en Linux últimamente. En respuesta, he cambiado a menudo simplemente usando X-forwarding para ejecutar cosas de forma remota.
Para probarlo, desde otra máquina Linux, puede comenzar rápidamente (generalmente) agregando "-X" cuando ingresa:
$ ssh -X me@myserverbox
Una vez que haya iniciado sesión de forma remota, puede ejecutar aplicaciones a través de la red con solo llamarlas:
$ xclock
Si todo está bien, verá que xclock aparece localmente, pero se ejecutará desde la máquina en la que ingresó.
En realidad, puede ejecutar sesiones completas de administrador de ventanas sobre esto ... Pero es un poco de esfuerzo y definitivamente desea una red realmente agradable para ello.
También PUEDE ejecutar servidores X en Windows, por lo que puede instalar aplicaciones Xhost en Windows, y para hacerlo en OSX, debe instalar X11, ejecutarlo y luego ingresar desde un terminal que se ejecuta en X11.
Espero que te ayude un poco.
Editado: para corregir el error de terminología