Como una adición a las otras respuestas:
Si bien un DVCS se adapta muy bien a este problema, técnicamente también podría usar Subversion, si se siente más cómodo con él. Subversion puede usar un directorio local en lugar de un servidor central. Podrías poner eso en una memoria USB y usarlo.
La desventaja, en comparación con un DVCS, sería que solo puede trabajar con Subversion (es decir, confirmar, ver registros, etc.) mientras la memoria USB está conectada. Además, siempre debe ser la misma memoria USB (o al menos una -to-date copy), porque con Subversion no debe usar más de un repositorio (esa es la parte no distribuida). Entonces, si alguna vez olvida su memoria USB, no puede usarla, a diferencia de Git o Mercurial.
Nota:
Como se explicó anteriormente, y en los comentarios, un DVCS es realmente mejor para su problema. Solo mencioné Subversion por completo, y en caso de que tenga alguna razón especial para usar Subversion.