No puede ejecutar una aplicación GUI si tiene un servidor sin cabeza sin una GUI. En Linux / Ubuntu necesitas instalar XWindows. Espero que al instalar Chromium haya algunas sugerencias para instalar otras dependencias. Al igual que XWindows. De lo contrario, podría instalar una GUI mínima como XFCE4 sin todas las dependencias (por lo tanto, no el escritorio Xubuntu, sino solo XFCE4). Esto le permitirá iniciar el sistema XWindows desde la línea de comandos (startxfce4) cuando lo desee. Pero ya no es un verdadero servidor sin cabeza.
Como dijeron los otros comentaristas: puede iniciarlo usando ssh -X (-X reenviará XWindows) pero no VNC. El software VNC espera que ya se esté ejecutando una GUI, mientras que ssh -X comenzará por sí mismo (consulte http://en.wikipedia.org/wiki/X_Window_System ).
Al usar SSH desde una computadora diferente, también necesita un servidor XWindows. Para Windows instale CygWin (y XWin) o use XMing.