Aquí hay una solución alternativa que solo ocultará los números, pero en realidad no cambiará el margen a la izquierda para que el texto no salte tanto al ingresar / salir del modo de inserción:
set number
augroup number
autocmd!
autocmd InsertEnter * highlight LineNr ctermfg=white guifg=white
autocmd InsertLeave * highlight LineNr ctermfg=130 guifg=Brown
augroup end
Al ingresar al modo de inserción, esto establecerá el color del texto en el color de fondo. En mi caso, esto es blanco, pero esto puede ser diferente en su caso. Cuando salimos del modo de inserción, se restablece al valor predeterminado para mi combinación de colores.
Puede encontrar el valor predeterminado para su combinación de colores con:
:highlight LineNr
LineNr xxx term=underline ctermfg=130 guifg=Brown