No puede bajar la carga hasta cero, pero casi ...
Si prueba este comando SQL:
alter DATABASE myDB modify (EDITION = 'Basic')
o
alter DATABASE myDB modify (EDITION = 'Standard', SERVICE_OBJECTIVE = 'S0', MAXSIZE = 10 gb)
entonces su costo puede bajar a algo como 5 USD por mes (dependiendo del tamaño de su base de datos).
Cuando vuelva a trabajar en su base de datos, solo necesita ejecutar
alter DATABASE myDB modify (EDITION = 'Standard', SERVICE_OBJECTIVE = 'S2', MAXSIZE = 10 gb)
y todo volverá a la normalidad, después de unos minutos.
Si tiene más de una base de datos, puede usar la opción Elastic Pool para reducir también el costo total.