Respuestas:
Con la imagen Raspbian, puede volver a ejecutar el script de inicio inicial usando:
$ sudo raspi-config
e ingresando su contraseña de sudo.
Esto mostrará las mismas opciones de menú que obtuvo después del primer arranque.
No necesita rehacer todas sus primeras opciones de arranque, solo use las teclas de flecha para moverse a las opciones de menú que desea cambiar.
En su caso, seleccionando:
¿Iniciar X-server después del arranque?
y eligiendo:
no o deshabilitar
te resolverá
Edición para agregar opciones no basadas en GUI:
Como se señala en los comentarios a continuación por @mirk, el comando exacto para la frambuesa es:
sudo update-rc.d lightdm disable
El funcionamiento de X.Org es que tiene un administrador de escritorio que inicia el servidor X por usted. Eso significa que para evitar que X Server se inicie, debe eliminar su administrador de destkop de la lista de demonios.
Si está utilizando GNOME, entonces su administrador de escritorio es GDM. Si está utilizando KDE, su administrador de escritorio será KDM. Para esto, voy a asumir que estás usando GNOME; Ergo, está utilizando GDM como su administrador de escritorio.
En Raspian, el administrador de escritorio se llama LightDM.
Para deshabilitar un demonio en Debian (del cual Raspbian es una bifurcación) debe ejecutar el siguiente comando.
$ sudo update-rc.d <daemon> disable
Entonces, para deshabilitar LightDM, debemos ejecutar el siguiente comando.
$ sudo update-rc.d lightdm disable
Y ahora, en su próximo reinicio, LightDM no debería iniciarse y, a su vez, no iniciará X Server.
sudo update-rc.d lightdm disable
La respuesta aceptada no funcionó para mí en la versión "Jessie", terminé usando:
sudo systemctl set-default multi-user.target
Referencia: Intentando apagar X11 en Jessie