Muchas unidades de "lápiz" USB son muy lentas, especialmente para escribir, por lo que puede hacer muy poco más que probar una unidad más rápida.
Para responder a su pregunta directa: puede obtener una idea de lo que está sucediendo en el disco iotop -o; si se deja en ejecución durante los períodos de mayor actividad, eso le mostrará qué procesos están realizando lecturas / escrituras de disco de forma activa y cuánto. Esto podría resaltar algún proceso o servicio que puede prescindir y desactivar para ayudar a las cosas. Hay algunos trabajos de crons en muchas configuraciones de Linux que escanean una parte del filesytsem (si no todos ellos) ocasionalmente para actualizar las memorias caché de búsqueda (como la updatedbtarea que actualiza los datos utilizados por comandos como locate), si encuentra uno de eso está causando su lentitud, entonces pueden eliminarse de forma segura de la lista de cosas de cron para ejecutarse regularmente.
¿Cuánta RAM tienes en la máquina de destino? Si se trata de una máquina pequeña por esa medida, entonces esto no ayudará, ya que habrá poco espacio para las lecturas de la memoria caché (por lo que las cosas que se leen nuevamente poco tiempo después deben proceder de la memoria USB nuevamente en lugar de una copia en caché en la RAM).
También puede probar una versión reducida de Ubuntu, especialmente si se encuentra en una situación de poca RAM, pero también podría ayudar si tiene mucha RAM pero unidades lentas al reducir los tiempos de arranque si no es nada más. Lubuntu es una opción popular para esto: todos los paquetes habituales están disponibles en caso de que los necesite, pero se instala menos de forma predeterminada, inicia menos servicios en el arranque de forma predeterminada y utiliza un entorno de escritorio de menor peso (todo lo que no sean estos cambios es el mismo arreglo , por lo que debería resultarle relativamente familiar, incluso si Ubuntu es la única variante de Linux con la que tiene mucha experiencia).