Deberías ser bueno si te estás conectando estrictamente a través de RDP. Lo único que podría atraparlo es si se configuró algo extraño para ejecutarse cuando se establece la conexión. Por ejemplo, si está utilizando el cliente RDP de Windows incorporado, puede configurar un programa para que se ejecute cuando se establezca la conexión. En el caso de que tenga algo perjudicial para el servidor configurado allí, supongo que algo malo podría suceder. Sin embargo, creo que es una posibilidad remota.
También puede obtener algo funky si configura el portapapeles para compartir con los recursos locales. Y con seguridad no traigas discos locales a la fiesta (siguiendo la respuesta de Stephen Thompson sobre el intercambio de archivos).