Intenté transmitir gráficos 3D a través de la red una vez y descubrí una cosa: el rendimiento es malo. Esto sucede porque todos los controladores de gráficos acelerados realmente no transmiten ningún dato 3D a través de la red (incluso si se trata de un bucle invertido o incluso un socket abstracto UNIX) sino que hacen algo de representación directa.
Las configuraciones que probé incluían tanto Xming (Xming es realmente portado Xorg) en clientes Windows + X en Linux como Xorg y clientes en Linux. La red era de 100Mbit, la tarjeta gráfica era NVidia GeForce FX 5200 (esa no es una tarjeta muy reciente, pero definitivamente puede manejar glxgears), y ambas computadoras tienen procesadores de clase PIV y no se alcanzaron alrededor de 1 Gb de RAM para estos dos límites.
Empecé glxgears como cliente. En ambos casos, mostró una animación muy cortada y valores de FPS alrededor de 30 o 50. Para comparar, también ejecuté glxgears native y mostró alrededor de 8000 en el host Linux y IIRC 500 en Xming con glxgears portados (eso fue hace aproximadamente un año y rendimiento de Xming puede ser mejor ahora). Por lo tanto, el rendimiento de la red es definitivamente el cuello de botella para los gráficos 3D.
También debo señalar que VNC funciona solo con gráficos 2D: tiene un protocolo muy simple que consiste principalmente en comandos como "mostrar esta imagen rectangular en esas coordenadas", por lo que definitivamente no mostrará ningún rendimiento en 3D.