Respuestas:
Para ser particularmente mínimo, puedes rodar el tuyo. Advertencia justa: este es un esfuerzo de muchas horas, pero apreciará mejor lo que implica armar su sistema operativo.
Linux From Scratch es una guía paso a paso mantenida muy activamente sobre eso: http://www.linuxfromscratch.org/
Red Hat o Debian son probablemente lo que estás buscando. También puede instalar Ubuntu solo como línea de comando.
MicroCore es una variante solo de línea de comandos de Tiny Core Linux .
En el pasado había Linux On A Floppy (LOAF) y Tom's Root Boot . Sin embargo, sospecho que son demasiado ligeros para unidades USB :-)
Hoy en día supongo que el equivalente es Damn Small Linux, que se instalará en una memoria flash USB de arranque.
Ubuntu Server puede ser lo que estás buscando. Como los servidores generalmente no tienen cabeza, la configuración básica no contiene ninguna parte de la GUI.