¿El agente de usuario en algún navegador normal contiene 'bot' o 'rastreo'?

¿El agente de usuario en algún navegador normal contiene 'bot' o 'rastreo'?

Verifico el agente de usuario en mi sitio para ver si proviene de un bot o no. Si es así, puedo hacer algunas pequeñas optimizaciones ya que no inician sesión. (No cambio el contenido en absoluto)

Después de agregar cheques para más de 30-40 bots, me estoy cansando de agregarlos. Entonces me preguntaba si verificar si solo contiene 'bot' o 'rastreo'. Sé que no obtendrá todos los bots, pero obtendría muchos de ellos. Pero si eso pudiera causar falsos positivos, entonces arruinaría totalmente la capacidad de agregar al carrito, hacer un pedido e iniciar sesión.

De acuerdo con la lista en http://www.useragentstring.com/pages/useragentstring.php?typ=Browser con más de 9000 cadenas de agente de usuario de varios navegadores:

• 0 cadenas de agente de usuario de navegadores contienen la palabra "bot"
• 2 cadenas de agentes de usuario de navegadores contienen la palabra "rastreo"
• 0 cadenas de agente de usuario de navegadores contienen la palabra "araña"

(El 2 que contiene "rastreo" es el siguiente: "Mozilla / 4.0 (compatible; MSIE 5.01; Windows NT 5.0; YComp 5.0.2.6; MSIECrawler)" y "Mozilla / 4.0 (compatible; MSIE 5.01; Windows NT 5.0; MSIECrawler ) "Creo que es seguro no considerarlos.)

De acuerdo con la lista en http://www.useragentstring.com/pages/useragentstring.php?typ=Crawler con 442 cadenas de agente de usuario enumeradas como bots:

• 208 cadenas de agentes de usuario de bots contienen la palabra "bot"
• 63 cadenas de agentes de usuario de bots contienen la palabra "rastreo"
• 37 cadenas de agentes de usuario de bots contienen la palabra "araña"
• 282 cadenas de agentes de usuario de bots contienen "bot", "crawl" o "spider"

Mi conclusión: es seguro filtrar bots por cadenas de agente de usuario con las palabras "bot", "crawl" y "spider". No es a prueba de balas, pero definitivamente es mejor que nada.

Nota: Al buscar las palabras clave, utilicé la búsqueda sin distinción entre mayúsculas y minúsculas.

Una mejor solución IMO sería detectar si el usuario ha iniciado sesión. Si no lo están, muestre la página estándar (esto podría almacenarse en caché). Cualquier araña web nunca se registrará, pero si está optimizando para ellos, ¿por qué no para los nuevos usuarios de su sitio?

Esta pregunta de Stack Overflow debería ayudar: " ¿Existe una base de datos de agente de usuario en línea? "

Puede escanear rápidamente la base de datos y descubrirla (o importarla).