Respuestas:
Debe especificar las coordenadas de la ventana + ancho y alto.
Línea de comando VLC : sección de entrada de pantalla
Capture 640x480 píxeles en la esquina superior izquierda:
"C:\Program Files\VideoLAN\VLC\vlc.exe" --screen-width=640 --screen-height=480
"c:\Program Files\VideoLAN\VLC\vlc.exe" screen:// :screen-top=150 :screen-left=150 :screen-width=300 :screen-height=200