El uso del término firma en el RFC es análogo a una firma digital en criptografía asimétrica. En la criptografía asimétrica, si el remitente cifra un mensaje con su clave privada, cualquiera que tenga el mensaje puede descifrarlo con la clave pública del remitente. Entonces, el objetivo con el término firma no es mantener un mensaje en secreto, sino verificar la integridad / remitente del mensaje, eso no se ha modificado.
En el caso de los JWT, el sistema de envío es tanto el creador como el consumidor del mensaje (vea el diagrama a continuación), y el objetivo es asegurarse de que el token pasado al usuario no haya sido alterado (por ejemplo, con privilegios elevados).
Y como mencionó @Robert, los JWT pueden / deberían estar encriptados con TLS.
Aquí hay una buena explicación de JWT y firmas de las cuales se obtiene la imagen a continuación. 5 pasos sencillos para comprender los tokens web JSON (JWT)