No hay ninguna razón técnica para que no sea posible. Sin embargo, no hay muchas razones por las cuales no es práctico. Con la cantidad limitada de espacio en la pantalla que los personajes representan en la pantalla, sería difícil encontrar el uso para más de 256 colores simultáneos en la pantalla.
Hasta donde yo sé, los clientes terminales usan espacio de color indexado. Una de las razones es que, en su forma más simple, se pueden describir 256 colores indexados con un byte. Mientras que el espacio de color RGB necesita dos o tres bytes. Teniendo en cuenta cómo se codifican los colores en una secuencia de terminal, cada color sería al menos dos bytes + cualquier marcado inteligente. Esto podría no ser un gran problema de memoria, sin embargo, cuando en una transmisión de red en tiempo real puede sumar latencia, especialmente (corríjame si estoy equivocado) cada carácter se envía en su propio paquete.