SSH es mucho más tolerante con los dispositivos de seguridad de red como los firewalls y las cosas que hacen NAT. FTP es famoso por ser un servidor de seguridad complicado, y generalmente requiere un punto final para tener una dirección IP real (es decir, sin NAT).
SSH es mejor en el manejo de NAT. De hecho, ambos extremos pueden estar detrás de NAT, lo que generalmente no es posible sin mucha palanca con FTP.
FTP es generalmente más rápido debido a la naturaleza simple del protocolo, aunque las versiones correctas de SFTP pueden acercarse a ese nivel de velocidad.
El soporte FTP está integrado en la mayoría de los navegadores modernos, donde ninguno de los que conozco tiene SSH. Sin embargo, puede haber complementos que calcen esto.
SSH es mucho más seguro, lo que permite la autenticación del usuario. FTP lo admite, pero lo hace sobre texto sin formato, un hecho que contradice las políticas de seguridad más sensatas.
La única razón para usar FTP es para compartir archivos públicos. Cosas como los repositorios de origen del kernel de Linux.