OpenBlas es bastante rápido, por lo que puede vincularlo a LAPACK. ¿Has probado la versión precompilada de LAPACK / BLAS de tu proveedor de CPU? Por ejemplo, AMD ACML (gratis) o Intel MKL (gratis en Linux para uso no comercial y no académico). Simplemente necesita descomprimir y ejecutar el archivo de instalación.
En mi opinión, la única ventaja de usar ATLAS es cuando usas alguna CPU inusual. De lo contrario, use el del proveedor de CPU. También hay versiones de nVIDIA CUDA y AMD OpenCL disponibles que realmente son geniales.
EDITAR: recuerde que siempre puede construir un paquete Ubuntu DEB desde la fuente, que generalmente es mucho más fácil que compilar software desde la fuente.