El problema está en la distribución de VirtualBox, que ahora carece de los módulos necesarios.
Si echó un vistazo en el módulo VBoxHeadless.cpp , verá que para que esto funcione, se deben cumplir las siguientes condiciones:
- VBOX_FFMPEG debe estar definido
- La biblioteca compartida VBoxFFmpegFB debe estar disponible con el punto de entrada VBoxRegisterFFmpegFB
En el hilo VBoxHeadless "Error al cargar la extensión de captura de video" de 2009, alguien llamado xantus ha intentado crear las condiciones requeridas modificando las fuentes en consecuencia, pero esto no funcionó.
Sugiero que la forma correcta de hacerlo es dirigirse a los desarrolladores en los foros de VirtualBox y convencerlos de que vuelvan a funcionar, aunque esta opción parece haberse abandonado desde al menos 2009.