La mayoría de los puristas de VIM te dirían: "Deja de usar el mouse para moverte".
Esperemos que alguien que use el mouse en VIM pueda ayudarlo a hacer que las cosas del mouse funcionen mejor, pero si está interesado, le sugiero los siguientes combos de teclas útiles para facilitar el movimiento del cursor / vista en VIM:
h, j, k, l: izquierda, abajo, arriba, derecha.
H: Mueve el cursor a la parte superior de la pantalla visible.
L: mueve el cursor a la parte inferior de la pantalla visible.
G: mueva el cursor al final del archivo.
gg: mueve el cursor a la parte superior del archivo.
$: Mueve el cursor al final de la línea actual.
0: mueve el cursor hasta el comienzo de la línea actual.
^: Mueva el cursor al primer carácter que no sea un espacio en blanco de la línea actual.
Ctrl + f: Avanzar / bajar una página.
Ctrl + b: retrocede / sube una página.
Esperemos que esas ayudas lo liberen del mouse, si le interesa, si no, ojala alguien tenga algunas sugerencias sobre el mouse.