Me encontré con el mismo problema y descubrí que OpenGL 2.0 y superior está un poco roto en VirtualBox 5.xy, que yo sepa, todavía no está completamente solucionado.
Con GuestOS como Win7 o anterior, se puede hacer que funcione instalando los controladores invitados en modo seguro. Para Windows 8 y versiones posteriores no funcionará en absoluto.
Hay un extenso hilo sobre el tema en los foros de VirtualBox . (Si el enlace se rompe Google para "Virtualbox opengl 2". Debería ser uno de los primeros éxitos.)
Con esa información y algo de experimentación pude hacer que OpenGl (2 y 3) funcionara en un invitado de Windows 7. (No puedo recordar detalles exactos. Hace más de un año que jugué por última vez con esto. Pero ese hilo del foro debería darle todo lo que necesita).
No sé si el problema se ha resuelto con la serie VirtualBox 6.x actual. No he tenido la oportunidad de probar eso todavía.