Ubuntu 12.04: desinstalar boost instalado desde la fuente

Instalé las bibliotecas boost 1.54 en ubuntu 12.04, y parece estar en conflicto con mi instalación de libboost-all-dev, por lo que quiero desinstalar completamente las bibliotecas boost 1.54. ¿Cómo desinstalar el que está instalado desde la fuente?

solo mirando http://lists.boost.org/boost-users/2005/01/9444.php que dice eliminar /usr/local/lib/libboost*y/usr/local/include/boost