Hay ventajas y desventajas para la autenticación basada en claves o pw.
En algunos casos, por ejemplo, la autenticación basada en claves es menos segura que la autenticación con contraseña. En otros casos, su pw-based es menos seguro. En algunos casos, uno es más conveniente, en otros, menos.
Todo se reduce a esto: cuando realiza una autenticación basada en claves, debe asegurar su clave con una frase de contraseña. A menos que tenga ssh-agent en ejecución (ssh-agent le libera de ingresar su frase de contraseña cada vez), no ha ganado nada en términos de conveniencia. La seguridad es discutible: el vector de ataque ahora pasó del servidor a USTED, o su cuenta, o su máquina personal, (...) - esos pueden o no ser más fáciles de romper.
Piensa fuera de la caja al decidir esto. Si gana o pierde en términos de seguridad depende del resto de su entorno y otras medidas.
editar: Oh, acabo de ver que estás hablando de un servidor doméstico. Estaba en la misma situación, "contraseña" o "memoria USB con llave" siempre conmigo? Fui por el primero, pero cambié el puerto de escucha SSH a algo diferente a 22. Eso detiene a todos esos guiones cobardes que imponen la fuerza bruta a rangos de red completos.