Hay diferentes maneras de resolver esto: puede configurar sshd(lado del servidor) o ssh(lado del cliente) para que no use la autenticación de contraseña. Deshabilitar la autenticación de contraseña en el servidor hace que su servidor sea más seguro, pero tendrá problemas si pierde su clave.
Para hacer ssh(del lado del cliente) usando la autenticación de pubkey, agregue algunas opciones al sshcomando:
ssh -o PubkeyAuthentication=yes -o PasswordAuthentication=no -X git@server
Si esto funciona, puede establecer la PasswordAuthentication=noopción de forma permanente en el archivo de configuración del cliente ssh en todo el /etc/ssh/ssh_configsistema o ~/.ssh/configespecífico del usuario (para obtener más información, consulte man ssh_config).