Básicamente comenzó porque algunos sitios web solían rastrear al agente de usuario para decir qué navegador estaba usando alguien para poder bloquear los navegadores que creían que no funcionarían con sus sitios web. Específicamente, los sitios web estaban bloqueando Internet Explorer porque no ofrecía tantas funciones como Netscape Navigator. En lugar de simplemente crear un sitio web que funcione en todos los navegadores, los webmasters optaron por bloquear IE por completo. Para evitar eso, Internet Explorer comenzó a poner a Mozilla en su agente de usuario (con "compatible" entre paréntesis).
Otra razón es que algunos navegadores comparten el mismo motor de renderizado. Por ejemplo, tanto Safari como Chrome usan el motor de renderizado de webkit. Firefox y SeaMonkey usan gecko. Como resultado, ambos tendrán partes de su agente de usuario que coincidirán y / o mencionarán al otro navegador.
Este artículo tiene un buen resumen del historial de agente de usuario con mucho más detalle.