Preguntas etiquetadas con web-crawlers

En un servidor web ahora tengo que administrar, noté que el archivo robots.txt está vacío. Me preguntaba si hay una diferencia entre un archivo robots.txt vacío y ningún archivo. ¿Los rastreadores se comportan de manera diferente en estos dos casos? Entonces, ¿es seguro eliminar un archivo robots.txt vacío?

28 web-crawlers  robots.txt  webserver 

Los registros de un sitio web que administro muestran una solicitud de un archivo inexistente por parte de Bingbot. Los detalles de la solicitud son Ruta: /trafficbasedsspsitemap.xml Useragent: "Mozilla / 5.0 (compatible; bingbot / 2.0; + http://www.bing.com/bingbot.htm )" Dirección IP: 65.55.213.244 (la búsqueda inversa se resuelve en msnbot-65-55-213-244.search.msn.com ) ¿Por …

28 bing  logging  web-crawlers 

Como webmaster a cargo de un sitio pequeño que tiene un foro, recibo regularmente quejas de los usuarios de que tanto el motor de búsqueda interno como las búsquedas externas (como cuando se usa Google) están totalmente contaminadas por las firmas de mis usuarios (están usando mucho tiempo). firmas y …

28 html  search-engines  forum  web-crawlers 

Tuvimos algunos problemas serios con la araña (increíblemente) mal escrita de Yahoo en el pasado , y como resultado los bloqueamos. Marco Arment de Tumblr también compartió sus frustraciones con nosotros el 31/08/2009, lo que fue un factor en nuestro bloqueo. [Yahoo's Spider] nos ha estado inundando con 70-200 solicitudes …

25 user-agent  bing  yahoo  web-crawlers 

Esta pregunta se migró de Stack Overflow porque se puede responder en Webmasters Stack Exchange. Migrado hace 9 años . ¿La araña de Google sabe cómo representar JavaScript, o solo HTML?

22 javascript  google  seo  web-crawlers 

Cerrado. Esta pregunta está fuera de tema . Actualmente no está aceptando respuestas. ¿Quieres mejorar esta pregunta? Actualice la pregunta para que sea sobre el tema para Webmasters Stack Exchange. Cerrado hace 6 años . Tengo un sitio heredado bastante grande con literalmente miles de archivos PDF que a veces …

21 site-maintenance  web-crawlers  dead-links 

Mucho se ha hecho de la frecuencia de arrastre de la araña Baidu. Es cierto: "Baiduspider se arrastra como un loco". He experimentado este fenómeno en los sitios con los que trabajo. En al menos una instancia, descubrí que Baiduspider se arrastra a aproximadamente la misma frecuencia que Googlebot, a …

18 seo  search-engines  googlebot  web-crawlers 

Hay Ask bot, que establece este encabezado: Mozilla/2.0 (compatible; Ask Jeeves/Teoma) Considerando esto, tengo las siguientes preguntas: Si estoy escribiendo un rastreador web llamado Goofy, ¿qué agente de usuario debo usar? ¿Cuál es la diferencia si pongo Mozilla/2.0o Mozilla/5.0? Cualquier otra sugerencia sobre cómo debo formatear mi agente de usuario …

18 user-agent  web-crawlers 

Cada vez que creo un sitio web receptivo, generalmente creo 2 menús: 1 oculto y utilizado para dispositivos móviles y el otro como el menú principal, luego oculto para mostrar el menú móvil. Siempre que se trata de SEO y arañas que navegan por el sitio web, ¿me critican por …

16 seo  web-crawlers  googlebot  navigation 

Tengo un subdirectorio que me gustaría ocultar de los rastreadores web del motor de búsqueda. Una forma de hacerlo es usar a robots.txten el directorio raíz del servidor (la forma estándar). Sin embargo, cualquier persona que conozca la URL del sitio web y tenga algún conocimiento básico de la web …

16 web-crawlers  robots.txt 

La mayoría de mis visitas son de arañas baidu. No creo que ayude en absoluto a los motores de búsqueda, así que estoy pensando en cómo bloquearlos. ¿Podría hacerse esto a través de iptables? Estoy usando nginx como mi servidor web.

15 traffic  nginx  web-crawlers  baidu 

Recuerdo un sitio cerrado debido al mal uso y me pregunto si los bots tienen una parte de él. Si el bot está PUBLICANDO algo en mi sitio, ¿de qué maneras puedo combatirlo? Estaba pensando en configurar algunas cookies y cambiar las cookies a través de JavaScript + marca de …

15 web-crawlers  spam-prevention  spam-bots 

Recientemente registré un nuevo dominio, lo apunté a mi servidor existente y configuré una página mínima que decía "prueba" y nada más. ¡Acabo de descubrir esta noche que la página ya está indexada en Google! No hay enlaces al sitio (ni siquiera le he dicho a nadie sobre el dominio …

13 search-engine-indexing  domain-registration  web-crawlers 

Mis registros están llenos de visitantes de bots, a menudo de Europa del Este y China. Los bots se identifican como Ahrefs, Seznam, LSSRocketCrawler, Yandex, Sogou, etc. ¿Debo bloquear estos bots de mi sitio y por qué? ¿Cuáles tienen un propósito legítimo en aumentar el tráfico a mi sitio? Muchos …

12 seo  web-crawlers  user-agent 

Cuando reviso mi registro de Apache, puedo ver que Baidu ha estado rastreando mi sitio web 10 veces al día durante las últimas 2 semanas. No es que me importe mucho, pero tengo mucha curiosidad acerca de por qué está haciendo esto. Es un sitio web realmente pequeño de una …

12 seo  web-crawlers  baidu