Minix es una gran opción y se describe en una de las otras respuestas.
Xinu
Considere también XINU - XINU no es Unix.
También se escribe UNIX al revés.
Hay un libro de Douglas Comer que pensé que estaba bien escrito, bien ilustrado y bien delimitado.
Hay un Xinu integrado y un sitio web sobre la enseñanza con Xinu.
http://xinu.mscs.mu.edu/Teaching_With_Xinu
FreeRTOS
Otro sistema operativo más pequeño que recibe mucho amor en estos días es FreeRTOS. Se ejecuta en casi todo. Si viniste de Marte y tuviste un procesador o una placa de evaluación donde no se ejecuta, podrías leer unas 10 páginas de documentación, modificar unos cinco archivos relacionados con interrupciones, temporizadores y UART y estarías ejecutándote.
http://www.freertos.org/
Afirman que admite 31 arquitecturas y 18 cadenas de herramientas. Mi experiencia a fines de 2009 fue buena, y escuché que ha mejorado mucho desde entonces.
Otros enlaces
Aquí se encuentra una pregunta similar que podría tener información útil para usted:
/programming/254149/how-do-you-write-a-basic-operating-system
Linux y muchos otros diseños de sistemas operativos están influenciados por UNIX, por lo que este video donde los diseñadores originales (Kernigan, Richie y Thompson y otros) es informativo y obtiene las ideas de diseño directamente de la fuente.
http://techchannel.att.com/play-video.cfm/2012/2/22/AT&T-Archives-The-UNIX-System
Existe un libro de texto clásico pero a menudo revisado sobre sistemas operativos:
Silberschatz, Galvin, Gagne: Conceptos del sistema operativo, 7a edición
Puede haber ediciones más nuevas también. Rara vez hago un enlace a un libro a través de un vendedor de libros, pero la vista previa es muy generosa, así que para obtener más información sobre los sistemas operativos, consulte:
http://www.amazon.com/Operating-System-Concepts-Abraham-Silberschatz/dp/0470128720