¡Absolutamente! Estás buscando una instalación sin cabeza (Virtualbox). La forma de iniciar la máquina desde la línea de comandos es algo así como:
VBoxHeadless --startvm Debian --vrdp=off
Sin embargo, necesitará alguna forma de conectarse. Lo que hago es asignar puertos entre el invitado y el host. Con esta configuración, su puerto host 2222 se asignará al puerto 22 de su máquina invitada.
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/Protocol" TCP
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/GuestPort" 22
VBoxManage setextradata "Debian" "VBoxInternal/Devices/pcnet/0/LUN#0/Config/guestssh/HostPort" 2222
Después de eso, puede iniciar sesión con:
ssh localhost -p2222