Podría haber varias razones para el límite de 5 voltios, pero sospecho que es porque el ventilador requiere al menos 5V para funcionar. Incluso si pudiera bajar el voltaje aún más, el ventilador podría no mover suficiente aire para ser útil.
Si el ventilador es demasiado ruidoso al voltaje mínimo, entonces recomiendo comprar un ventilador mejor. Un ventilador más silencioso suele ser más caro. Esto se debe en parte a que se necesitan componentes de mejor calidad, en parte porque se necesita una mejor ingeniería para diseñarlo (y un mejor diseño cuesta más dinero) y en parte porque las personas están dispuestas a pagar más por un ventilador más silencioso. El ruido reducido es una característica después de todo.