El único inconveniente real del uso de la aceleración de hardware es que si tiene un controlador defectuoso, puede encontrar más fallas en los gráficos (la representación del software es más predecible).
Por ejemplo, con Linux Mint 17, veo problemas con Chromium que no vuelve a pintar completamente la pantalla al cambiar el tamaño de las ventanas (si trato de usar la aceleración de hardware). No puedo percibir ninguna diferencia de velocidad entre los dos, aunque normalmente apago todos los "efectos visuales".
Si su controlador tiene muchos errores, me imagino que la aceleración de hardware podría causar fallas, o todo su sistema podría incluso funcionar más lentamente. De lo contrario, primero pruebo la aceleración y vuelvo al renderizado de software si veo alguna rareza (bloqueos, bloqueos, problemas de repintado, etc.). La aceleración de hardware es excelente si los controladores funcionan.