¿Puedes retirar una oferta de sorteo?

¿Es posible retirar la oferta de sorteo si el oponente no respondió de inmediato?

No. La regla 9.1.2.1 de las reglas de la FIDE lo dice todo:

9.1.2.1 Un jugador que desee ofrecer un sorteo deberá hacerlo después de haber realizado un movimiento en el tablero de ajedrez y antes de presionar su reloj. Una oferta en cualquier otro momento durante el juego sigue siendo válida, pero debe considerarse el Artículo 11.5. No se pueden adjuntar condiciones a la oferta. En ambos casos, la oferta no se puede retirar y sigue siendo válida hasta que el oponente la acepte, la rechace oralmente, la rechace tocando una pieza con la intención de moverla o capturarla, o el juego se concluye de alguna otra manera.

(la regla 11.5 trata de no distraer al oponente durante su movimiento)

Se espera que el oponente se tome su tiempo para pensar en la oferta, así como probablemente pasa tiempo pensando en su próximo movimiento. No está obligado a rechazar la oferta, simplemente hacer un movimiento también es bastante normal (una vez que toca una pieza para mover, la oferta ha terminado, ver arriba).