No hay "mejor formato"; solo hay diferentes niveles de molestia.
Collada hace casi todo lo que posiblemente quieras hacer, a costa de hacer todo lo que no quieres hacer también. Esto lo convierte en un formato de intercambio útil, pero no es algo que probablemente deba buscar cargar directamente en su juego.
FBX no es tan ampliamente compatible, ya que es un formato propietario. Y es ... un formato propietario, pero al menos la especificación de formato está disponible.
La mayoría de los desarrolladores de juegos necesitan masajear los datos, sea cual sea el tipo, en algo que su juego pueda cargar y arrojar a la pantalla lo más rápido posible. Por lo tanto, la mayoría de los motores de juegos que admiten los formatos de intercambio utilizarán una herramienta fuera de línea para transformarlos en sus formatos específicos del juego.
Y esa es generalmente una buena forma de trabajar. Tienes una buena separación de código: el código que da masajes a los datos está separado del código que los carga en tu juego. Obtiene un rendimiento de carga rápido, al tiempo que tiene la capacidad de formatear los datos según lo necesite para obtener la máxima velocidad y uso. Y aún puede ver cómo se ven los datos en su formato de archivo exportado original, que generalmente es algún tipo de archivo de texto.