Generé una clave y la copié a mi objetivo:
ssh-keygen
ssh-copy-id username@hostname
Dejé la ubicación de la clave como predeterminada y no configuré ninguna frase de contraseña.
Por un breve tiempo después de eso, pude hacerlo ssh username@hostname
sin que me pidieran una contraseña, y luego dejó de funcionar por alguna razón.