tl; dr: Dado que Youtube vuelve a codificar todos los videos independientemente del formato de carga, realmente no es tan importante. Simplemente exporte su video con una alta tasa de bits para preservar la calidad. También vea mi respuesta aquí con respecto a la pérdida de calidad causada por Youtube.
Respuesta larga: cada nueva codificación de un video a un formato comprimido reduce la calidad. Por lo general, eso significa que perderá calidad en dos puntos: cuando exporta el video editado desde su software de edición y cuando carga el video exportado a Youtube, en ese momento se vuelve a codificar a un formato altamente comprimido y compatible con la transmisión. No tiene control sobre ese segundo paso, por lo que lo que puede hacer para lograr la máxima calidad posible es asegurarse de perder la menor calidad posible durante la primera codificación.
En teoría, eso significaría exportar a un formato perceptualmente (aunque técnicamente no) sin comprimir como Apple ProRes o DNxHD como usted sugirió. Sin embargo, desafortunadamente, Youtube no admite esos formatos, por lo que deberá utilizar un formato comprimido. Para minimizar la pérdida de calidad, establezca una tasa de bits alta en su configuración de exportación (suponiendo que el tiempo de carga y representación no sea un problema. Si lo son, tendrá que encontrar un punto medio; exportar con una tasa de bits que sea mayor que la tasa de bits de el material de origen no producirá más calidad, por lo que es tan alto como yo llegaría). Si hace eso, en realidad no importa qué códec use, ambos son altamente eficientes en relación con el tamaño del archivo / relación de calidad (VP9 probablemente un poco más, pero eso es más importante cuando se trata de velocidades de bits bajas). Youtube recomienda H264, así que eso es lo que usaría. Sin embargo, el mejor consejo que puedo darle es probar ambos, es decir, exportar el mismo video como H264 y VP9 con velocidades de bits idénticas / otras configuraciones, cargar ambos en YouTube y verificar cuál le parece mejor.