Sí, debería ser seguro eliminar el servidor X. Realmente no he probado esto en Raspberry Pi (ya que todavía no tengo uno), pero espero que eliminar el servidor X sudo apt-get remove xserver-xorg
funcione bien.
En Debian y la mayoría de las otras distribuciones de Linux sensibles, los paquetes de clientes X no tienen dependencias en un servidor X, precisamente para que sea posible tener clientes X instalados en una máquina sin un servidor X. Estos clientes X pueden ejecutarse y mostrarse de forma remota, según su caso de uso, que en realidad es muy común para los servidores Linux.
Debería poder ingresar a su Raspberry Pi con reenvío X desde una máquina que ejecuta un servidor X con ssh -X <your_Pi's_IP_adress>
. Los clientes X iniciados a través de SSH en el Pi deben ser enviados a su servidor X y aparecer localmente.
sudo apt-get remove xserver-xorg
y todo parece estar bien.