Con Ubuntu 14.10 y Gstreamer alcanzo una latencia de 100 a 116 ms con 1280 x 720 a 60Hz.
Gracias a @Antonvh que me pone en el camino correcto. Reproduzco aquí la solución para esta última referencia.
Para transmitir desde el Pi:
raspivid -t 0 -b 2000000 -fps 60 -w 1280 -h 720 -o - \
| gst-launch-1.0 -e -vvv fdsrc ! h264parse ! rtph264pay pt=96 config-interval=5 \
! udpsink host=10.42.0.1 port=5001
Para recibirlo en su computadora con gst-0.10 y enviarlo a un dispositivo virtual v4l2 (de hecho, necesita v4l2loopback ):
gst-launch -v udpsrc port=5001 ! application/x-rtp, payload=96 ! rtph264depay \
! ffdec_h264 ! ffmpegcolorspace ! v4l2sink device=/dev/video1
Luego puede abrir el dispositivo /dev/video1
en cualquier software que admita la captura v4l2.
Para una solución gst-1.0 (v4l2loopback no funciona con gst-1.0), te dejo ver la publicación del blog de Antonvh .