Un JAR es simplemente un archivo ZIP, que contiene los diversos archivos de clase y otros metadatos utilizados; es un formato completamente estandarizado.
Los archivos ZIP se pueden extraer y los archivos de clase se pueden editar según sea necesario para la modificación. Los archivos modificados se vuelven a agregar al archivo, lo que hace que el servidor use los archivos modificados en lugar de los originales.
Técnicamente, los mods de Minecraft son realmente versiones "pirateadas" del código original: los archivos de clase binarios reales tienen que modificarse para que el juego sepa sobre las nuevas cosas; todavía no hay soporte oficial de mods (aunque Notch ha declarado que trabajarán en él durante la versión Beta).
Por supuesto, esa no es una muy buena manera de hacer las cosas si diseñas activamente para modificaciones. En su lugar, diseñaría algún tipo de arquitectura de complemento que permita ejecutar código personalizado cuando sea apropiado. El modo exacto en que lo harías depende de lo que quieras que hagan tus mods; por ejemplo, si la seguridad es una preocupación, probablemente quieras diseñar la interfaz de mods para usar algún tipo de secuencia de comandos, de modo que puedas restringir que los mods hagan todo tipo de cosas a la computadora del usuario.