Si necesita usar comillas dobles y !es el último carácter en el mensaje, simplemente mantenga el !exterior de las comillas , ya que solo usamos comillas para que los espacios se incluyan en el mensaje.
git commit -m "Reverting last commit because I don't like it"!
Si necesita incluir una !cadena intermedia, puede usar comillas simples, pero si necesita usar una comilla simple literal, deberá cerrar su cita, luego colocar el 'exterior de la cadena escapándola. Entonces, digamos que su mensaje es I don't like it! Reverting again!, esto puede estar compuesto con 'I don'+ \'+'t like it! Reverting again!'
git commit -m 'I don'\''t like it! Reverting again!'
Algo más complicado que esto, probablemente estés mejor git commity dejes que git invoque tu editor de texto predeterminado :)