Técnicamente hablando, gdm o lightdm están gestionando solicitudes de sesión de escritorio que no son servidores X. (un servidor X sirve eventos para la aplicación X, xorg es un servidor X :).
Editar
Para detener el servidor X killall X
o sudo killall X
si no es el propietario del proceso.
Por supuesto, debes tener una terminal para hacer eso.
Una forma de no poder abrir un terminal gnome o un xterm es iniciar una consola de texto; presione simultáneamente las teclas Ctrl + Alt + F1, luego inicie sesión cuando se le solicite (su contraseña no se mostrará, ni siquiera como asteriscos). (F1 a F5 están bien)