No creo que la instalación del curlpaquete se instale libcurl.so.3. El curlpaquete proporciona el curlprograma y los archivos asociados, no la biblioteca.
Para Centos, el paquete que necesita probablemente se llama algo así curl-devel.
Me sorprende yumque no haya ofrecido instalar las dependencias por usted. En CentOS 5.6, la yumpágina de manual dice que yum install"se utiliza para instalar la última versión de un paquete o grupo de paquetes al tiempo que se garantiza que se satisfagan todas las dependencias". Supongo que es posible que las dependencias no estén configuradas correctamente, pero eso parece poco probable para algo tan popular como git.
Intenta yum install curl-develseguido por yum install git.