Como ya han mencionado algunas personas: el grupo de aplicaciones del sitio en IIS se reiniciará (esto suele tardar un par de segundos). Como resultado, las solicitudes de la siguiente página serán más lentas (ya que ya no se almacenará en caché). También se perderá el estado de sesión de los usuarios; PERO en el estado de sesión WSS no se usa de forma predeterminada, en MOSS lo usa InfoPath Form Services. Por lo tanto, podría ser que no tenga grandes problemas relacionados con la pérdida del estado de la sesión.
Por otro lado; para superar esos problemas: lo que se suele hacer es crear una solución de SharePoint (WSP) que implemente e inicie un trabajo de temporizador para realizar los cambios en web.config desde el código (utilizando la clase SPWebConfigModification del modelo de objetos). Lo bueno es que puede programar la ejecución del cambio, para que sus usuarios no lo noten.