La puerta de un MOSFET tiene una resistencia CC muy, muy alta. Para todos los efectos, básicamente no consume corriente en absoluto si solo se encuentra en algún valor de estado estable (estamos hablando de femtoamplificadores o menos).
Además, todas las puertas MOSFET tienen 'capacitancia parásita', que es esencialmente un par de pequeños condensadores pequeños (generalmente unos pocos pF) que conectan la puerta al drenaje y la fuente.
Cuando presiona el interruptor S1, deja entrar una gran cantidad de carga desde el riel de + 5V, que enciende el MOSFET. El truco es que también carga los condensadores parásitos de la puerta. Cuando sueltas S1, toda esa carga almacenada no tiene a dónde ir. No se consume por la puerta del MOSFET (ya que la puerta no consume corriente), y tampoco tiene ningún camino para volver a tierra.
Dado que la carga no tiene a dónde ir, simplemente se sienta allí y mantiene + 5V en la puerta hasta que conecte algo más (como S2 o su multímetro) y proporcione un camino para la carga que lleva de vuelta a tierra.
editar: hecho divertido, este fenómeno también es exactamente cómo funciona NAND Flash.