¡GUAUU!
H264 es un códec de video de alta calidad pero (como usted lo menciona), crea archivos de video de tamaño "pesado".
No estoy seguro de si su pregunta está relacionada con una GUI o una tarea de línea de comandos. Pero, suponiendo que esté utilizando "Transmaggedon", escribiré esto teniendo en cuenta las opciones para las aplicaciones GUI.
En mi caso, prefiero el uso de "Mobile Media Converter", que funciona bastante bien en sistemas de 32 bits (sistemas basados en Ubuntu y MS). Y los creadores ya han lanzado una versión de 64 bits hoy en día.
Lo que desea es hacer archivos de video de menor tamaño. Lo cual puede hacerse cambiando la "tasa de bits de video", que le dará la mejor calidad, de acuerdo con la tasa de bits de video que solicite. Por ejemplo: un archivo de video de 40 MB (sin comprimir, AVI) cabrá en un archivo de video de 5 MB (cualquier códec) si usa una velocidad de bits de video de 800 kbps. Pero, por supuesto, puede dañar la calidad.
Le sugiero encarecidamente que realice algunas pruebas con Mobile Media Converter, al que puede acceder (.deb) haciendo clic en el siguiente enlace:
http://www.miksoft.net/mobileMediaConverter.htm
Después de la instalación, simplemente suelte los archivos de video (preferiblemente pequeños para la prueba) en el área de arrastrar y soltar, luego abra las Opciones avanzadas haciendo clic en una pequeña flecha que se coloca a la derecha de la ventana, debajo del botón "Examinar". "[...]"
Luego, haga clic en "Avanzado" y tendrá todas las opciones que necesita para transcodificar su video y realizar una transcodificación pequeña y de buena calidad.
Recuerde: la tasa de bits de video más alta es que tendrá una mejor calidad, pero el tamaño del archivo será "más pesado".
Por cierto: también puede transcodificar videos utilizando un sistema de edición no lineal, como "Kdenlive" ( http://www.kdenlive.org/ ) u "Openshot" ( http://www.openshotvideo.com/ ) y muchos más. Un sistema de edición no lineal también será útil para editar el video (recortar, recortar, agregar texto y más).
¡Buena suerte!
Aquí hay una captura de pantalla para que vea algunas opciones de Mobile Media Converter en acción.