Sí, es seguro, pero antes de tirarlo todo a la basura, verifique qué hay allí. Los archivos debajo .cachese utilizan para acelerar sus programas, por ejemplo, al no causar descargas cuando no es necesario. Es posible que parte del contenido se descargue o vuelva a crear de inmediato.
du -sm ~/.cache/*
le dará una lista y puede eliminar selectivamente cualquiera de esos subdirectorios en función de su uso de los programas, el espacio en disco utilizado, etc.
Puede cerrar sesión y volver a iniciarla como Lekensteyn indicó, pero a lo sumo los programas que poseen los subdirectorios deben reiniciarse si se están ejecutando.
du -sm ~/.cache/* | sort -npara ayudar a priorizar (y tal vez establecershopt -s dotglobsi hay archivos de puntos).