Tuve el mismo problema que tú. No soy un experto, pero la solución que funcionó para mí fue eliminar las claves del directorio ~ / .ssh. Este es un ejemplo de lo que estaba viendo.
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ ssh-add -d ~/.ssh/id_rsa.pub
Identity removed: /home/user/.ssh/ybot_rsa.pub (/home/user/.ssh/id_rsa.pub)
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Fue después de mover id_rsa (e id_rsa.pub) de la carpeta ~ / .ssh que ssh-agent dejó de tener la identidad. Lo que hice fue:
$ ssh-add -l
2048 06:e9:a6:14:2a:e4:c3:11:56:ea:c3:5d:f9:84:79:c6 first key (RSA)
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
$ mv ~/.ssh/id_rsa ~/.ssh/id_rsa.pub ~/
$ ssh-add -l
2048 2c:c3:97:fe:f3:cf:03:dc:d3:0b:87:2b:01:72:33:3b second key (RSA)
Supongo (podría estar equivocado) que si no tuviera el demonio Gnome Keyring ejecutándose (gnome-keyring-daemon), este comportamiento cambiaría. Quizás la solución original (y lógica) funcionaría, pero no la segunda.
openssh
6.2p1-1