Instalé mi clave privada SSH ~/.ssh/id_rsay configuré sus permisos en 0600. Cuando me conecto a un servidor SSH que usa mi clave privada en Terminal.app vía ssh, aparece un cuadro de diálogo y me pide que ingrese mi contraseña para acceder al id_rsaarchivo:

Veo el mismo cuadro de diálogo cuando me conecto a un servidor FTP con el cliente Interarchy GUI.
Actualización: veo este cuadro de diálogo cada vez que me conecto, independientemente de si marco "Recordar contraseña en mi llavero". Aparece dos veces más si se hace clic en el botón Aceptar, independientemente de lo que se ingrese en el campo de contraseña.
Cuando relajo estos permisos para, por ejemplo, 0640ya no veo un cuadro de diálogo que me pide mi contraseña, pero sshaborta con el siguiente error:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@ @ ADVERTENCIA: ¡ARCHIVO DE CLAVE PRIVADO NO PROTEGIDO! @ @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@@@@ Los permisos 0640 para '/Users/myusername/.ssh/id_rsa' están demasiado abiertos. Se recomienda que otras personas no puedan acceder a sus archivos de clave privada. Esta clave privada será ignorada. permisos incorrectos: ignorar clave: /Users/myusername/.ssh/id_rsa
El diálogo de contraseña me parece extremadamente molesto y estoy seguro de que debe haber alguna forma de evitar tener que descartar este diálogo. SSH necesita acceder al id_rsaarchivo.
Nota: estoy ejecutando Mac OS X 10.6.8.