Quizás podría ser más fácil comenzar en el estado de energía.
Los electrones libres (los que se mueven de un átomo a otro) están en la banda de conducción y los agujeros (la falta de un electrón en una órbita) están en la banda de valencia (mismo enlace).
La banda de conducción está en un nivel de energía más alto que la banda de valencia y eso significa que las cosas se mueven más rápido. Más interesante aún, para que un electrón se mueva de la banda de conducción a la banda de valencia (y llene el agujero) debe perder algo de energía.
Desde una perspectiva más intuitiva, cuando aparece un agujero en una órbita de valencia, no todos los electrones posibles caerán en él; pasará un gran número hasta que un electrón que (crucialmente) haya perdido suficiente energía para moverse hacia una banda de energía más baja llene el agujero.
Cuando dicho electrón salió de una órbita (creando un agujero), fue porque tenía energía agregada quizás por una colisión o incluso solo por el calor (de lo contrario, no podría tomar una ubicación de mayor energía en la banda de conducción). Solo cuando haya usado esa energía (moviéndose o tal vez colisionando con otro objeto que pueda expulsar un fotón, esto significa que el electrón ha perdido 1 fotón de energía) puede perder esa energía extra y caer en la banda de valencia.
Esto tal vez se explica por una mirada más detallada a los niveles de energía.