Preguntas etiquetadas con user-agent

Tuvimos algunos problemas serios con la araña (increíblemente) mal escrita de Yahoo en el pasado , y como resultado los bloqueamos. Marco Arment de Tumblr también compartió sus frustraciones con nosotros el 31/08/2009, lo que fue un factor en nuestro bloqueo. [Yahoo's Spider] nos ha estado inundando con 70-200 solicitudes …

25 user-agent  bing  yahoo  web-crawlers 

Hay Ask bot, que establece este encabezado: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando esto, tengo las siguientes preguntas: Si estoy escribiendo un rastreador web llamado Goofy, ¿qué agente de usuario debo usar? ¿Cuál es la diferencia si pongo Mozilla/2.0o Mozilla/5.0? Cualquier otra sugerencia sobre cómo debo formatear mi agente de usuario …

18 user-agent  web-crawlers 

Mis registros están llenos de visitantes de bots, a menudo de Europa del Este y China. Los bots se identifican como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, etc. ¿Debo bloquear estos bots de mi sitio y por qué? ¿Cuáles tienen un propósito legítimo en aumentar el tráfico a mi sitio? Muchos …

12 seo  web-crawlers  user-agent 

¿Cómo debo interpretar un agente de usuario vacío? Tengo un código de análisis personalizado y ese código tiene que analizar solo el tráfico humano. Tengo una lista de trabajo de agentes de usuario que denotan tráfico humano y tráfico de bot, pero el agente de usuario vacío está demostrando ser …

12 apache  analytics  http  user-agent  logging 

¿El agente de usuario en algún navegador normal contiene 'bot' o 'rastreo'? Verifico el agente de usuario en mi sitio para ver si proviene de un bot o no. Si es así, puedo hacer algunas pequeñas optimizaciones ya que no inician sesión. (No cambio el contenido en absoluto) Después de …

11 user-agent 

Las entradas de registro de acceso de Apache en mi sitio suelen ser como esta: 207.46.13.174 - - [31 / Oct / 2016: 10: 18: 55 +0100] "GET / contact HTTP / 1.1" 200 256 "-" "Mozilla / 5.0 (compatible; bingbot / 2.0; + http: // www .bing.com / bingbot.htm) …

10 joomla  user-agent  apache-log-files  botattack 

¿Pueden los agentes de usuario aparecer juntos, seguidos de sus reglas comunes como en un robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Ejecuté un pequeño rastreador web y tuve que decidir qué agente de usuario usar para él. Las listas de agentes de rastreadores y Wikipedia sugieren el siguiente formato: examplebot/1.2 (+http://www.example.com/bot.html) Sin embargo, algunos bots omiten el signo más delante de la URL. Y me pregunto qué significa en primer lugar, …

10 web-crawlers  http  user-agent 

Tengo un sitio que, por razones regulatorias, no puede indexarse ​​o buscarse automáticamente. Esto significa que debemos mantener alejados a todos los robots y evitar que recorran el sitio. Obviamente hemos tenido un archivo robots.txt que no permite nada desde el principio. Sin embargo, observar el archivo robots.txt es algo …

9 apache  web-crawlers  user-agent 

(Pregunta de recompensa en la parte inferior) Tengo un problema con un cliente que accede a nuestro sitio, y la causa raíz es que al WAF (Firewall de aplicaciones web) no le gusta su cadena de User-Agent: User-Agent: Mozilla/5.0 (X11; Linux i686; rv:34.0; C7QcSBPWTsrpX5YLvVZMqiujEZLWPtOYk3tDZ9WhW18=) Gecko/20100101 Firefox/34.0 En este caso, la …

8 user-agent 

¿Qué se usa para detectar el teléfono móvil del visitante, hasta el modelo si es posible? Actualmente mantenemos nuestra propia base de datos, pero realmente se está quedando atrás debido a la falta de mano de obra para mantenerla, por lo que decidimos probar una solución de terceros. Estos son …

8 mobile  user-agent  browser-detecting 

Tengo una codificación especial que solo funciona para navegadores HTML5 (material de geolocalización simple). Quiero redirigir a los usuarios de iPhone y Android a la versión m.example.com de mi sitio web. ¿Cómo es la mejor manera de hacer esto?

8 iphone  android  redirects  user-agent