Respuesta corta: sí.
En los "viejos tiempos", era posible evitar efectivamente que cualquier otra aplicación X leyera una entrada específica al agarrarla. Si bien esto todavía se puede hacer hasta el día de hoy, la especificación del protocolo XI2 parece sugerir que esto ya no se puede hacer (consulte la descripción de Raw Events en la línea 2220). Por lo tanto, solo con X ya no está seguro, al menos no en las configuraciones simples habituales. Consulte también la discusión bajo mi respuesta a ¿Cómo dejar que un demonio solicite una contraseña (en Xsession, keyloggersafe)? y las preguntas y respuestas de AskUbuntu a las que se hace referencia allí. No hace falta decir que ningún terminal está haciendo eso, por eso las aplicaciones como OpenSSH o GnuPG vienen con sus propios ayudantes de interfaz de usuario, que agarran el teclado (aunque como se mencionó anteriormente, realmente no ayuda mucho en estos días).
Sin embargo, lo que podría hacer sería ejecutar una aplicación en un servidor X diferente, por ejemplo, un servidor X anidado como Xephyro Xnest, o uno basado en VNC Xvnc. El protocolo Wayland también debería proporcionar cierta protección contra las escuchas.
Además de lo anterior, la aplicación también podría haber intentado explotar un agujero de seguridad sin parches en su sistema y así obtener privilegios elevados. O haga algo más fácil, como poner un suy sudoenvoltorios en su camino antes que los del sistema e interceptar las contraseñas (gracias @Joshua por el comentario).