Pruebe y aísle que es directamente la tarjeta el problema y no otros factores en su máquina. Esto puede ser complicado intentando usar esa tarjeta en otra máquina buena conocida para ver si experimentas lo mismo.
Si lo hace, eso debería ser suficiente para convencerlo de que es un problema con la tarjeta.
Al mismo tiempo, podría probar otra tarjeta gráfica que debería funcionar bien en su máquina, y si no tiene problemas con la tarjeta alternativa, entonces debe tener confianza en el resto de la configuración de su sistema.
En cuanto al software, pruebe una variedad de software de evaluación comparativa de gráficos para poner la tarjeta a prueba , junto con algo como RealTemp o GPUTemp como un indicador de qué tan cálido se está poniendo bajo carga.