En general, puede instalar los controladores AMD con pocos o ningún efecto secundario real, el sistema no se confundirá e intentará usar los controladores incorrectos.
Literalmente, me fui al revés con una máquina, desde AMD hasta nVidia y literalmente saqué la tarjeta AMD, puse la tarjeta nVidia y luego instalé los controladores nVidia. Todavía no he desinstalado los controladores AMD, pero tengo la intención de hacerlo en algún momento. La máquina funciona bien y todo funciona como se esperaba con ambos conjuntos de controladores instalados.
Los controladores que se utilizan para un dispositivo están determinados por cómo el dispositivo se informa a sí mismo a Windows y Windows cargará los controladores que informan soporte para el dispositivo en cuestión, no cargará los controladores AMD para un dispositivo nVidia o viceversa.
En el peor de los casos, lo único que debe tener son algunos archivos inútiles en su sistema (los controladores nVidia) que están sentados allí ocupando espacio y sin hacer nada. Debería poder desinstalarlos después de poner en funcionamiento su nueva tarjeta gráfica.