Intenta eliminar por completo tus controladores nvidia de tu sistema:
sudo apt-get purge nvidia*
Elimina tu xorg.conf
sudo rm /etc/X11/xorg.conf
Vuelva a instalar xorg completamente
sudo apt-get install --reinstall xserver-xorg-core libgl1-mesa-glx:i386 libgl1-mesa-dri:i386 libgl1-mesa-glx:amd64 libgl1-mesa-dri:amd64
Reconfigurar Xorg
sudo dpkg-reconfigure xserver-xorg
Reiniciar
sudo reboot
Debería ser recibido con lightdm, esto predeterminará todo x de la misma manera que lo haría una instalación nueva.
Después de esto, puede intentar instalar los controladores nuevamente utilizando la herramienta 'Controladores adicionales' en Ubuntu, pero si esos controladores no funcionan, puede probar los controladores más recientes desde el x-swat ppa
sudo apt-add-repository ppa:ubuntu-x-swat/x-updates
sudo apt-get update
sudo apt-get install nvidia-current
Nota: si lo anterior no funciona, intente también usar el núcleo PAE
sudo apt-get install linux-headers-generic-pae
(sugerencia recibida por @Scott)
sudo mv /etc/X11/xorg.conf /etc/X11/xorg.conf.backup