Su afirmación de que está mejor con un archivo CSS más grande es correcta. Es probable que solo sea unos pocos KB cuando se comprima, y debe almacenarse en caché, por lo que no es una gran carga. Sin embargo, hay algunas cosas que vale la pena revisar.
Si alguna vez solo se usa CSS en una página, puede ser mejor en ese caso colocar el CSS en la página, en algunas etiquetas de estilo. (Nota: esto puede hacer que las cosas sean difíciles de mantener, especialmente cuando más tarde decidas usar un estilo similar en otro lugar).
Si toma sus páginas más populares (por ejemplo, las páginas que representan más del 50% de las vistas de su página) y descubre que solo se está usando una pequeña cantidad de CSS en esas páginas, puede ser más rápido para los usuarios dividirlo en Dos archivos CSS. Ahora, los nuevos usuarios que visitan sus páginas más populares tienen mucho menos que descargar. En otras páginas hay una solicitud HTTP adicional, pero eso no es un gran problema.
Asegúrese de que su CSS esté bien optimizado. Evite los selectores descendientes cuando sea posible. Si el lado derecho de un selector es demasiado genérico, puede ralentizar el tiempo de representación. Por ejemplo .class div {}, sería un poco lento porque el navegador debe verificar cada <div>elemento de la página, luego buscar el árbol DOM en la parte superior para encontrar (o no) un elemento con la clase.