Preguntas etiquetadas con web-crawlers

¡Vi que Google tenía una buena propuesta / estándar para hacer que las aplicaciones de Ajax sean rastreables, a través de #! (hash bang) http://googlewebmastercentral.blogspot.com/2009/10/proposal-for-making-ajax-crawlable.html Mis preguntas son: ¿Están actualmente utilizando esta "propuesta" en el mundo real? ¿Otros motores de búsqueda, Bing específicamente, también lo usan o planean usarlo?

12 seo  google  ajax  web-crawlers 

Me di cuenta de que Google Webmaster Tools informa muchos recursos bloqueados en mi sitio web. En este momento, todos los "recursos bloqueados" son .css, .js e imágenes (.jpg, .png) que sirvo desde Cloudfront CDN. He pasado mucho tiempo probando e intentando descubrir por qué Google no rastrea estos archivos …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Después de haber escrito una serie de bots, y visto las enormes cantidades de bots aleatorios que rastrean un sitio, me pregunto como webmaster, ¿qué bots realmente vale la pena dejar en un sitio? Mi primer pensamiento es que permitir que los bots ingresen al sitio puede atraer tráfico real. …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Este es mi robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Pero las Herramientas para webmasters de Google me dicen que los robots están bloqueando el acceso al mapa del sitio: Encontramos un error al intentar acceder a su Sitemap. Asegúrese de que su Sitemap siga nuestras pautas …

11 google-search-console  robots.txt  web-crawlers 

Tengo un sitio que actualmente recibe entre 7,000 y 10,000 visitas por día. Comenzando alrededor de la 1 AM el 7/1/12, noté que el CTR estaba aumentando dramáticamente. Estos clics se acreditarán y luego se des-acreditarán poco después. Entonces, obviamente fueron clics fraudulentos. Al día siguiente, recibí unos 200 clics, …

11 google-adsense  advertising  web-crawlers  botattack 

Mi sitio web cuenta las visitas de visitantes en ciertas páginas. Me di cuenta de que Google y otros Bots están "haciendo clic" en mi sitio como locos y algunas de las páginas obtienen conteos de visitas poco realistas (en comparación con los producidos por humanos). Solicito las mejores prácticas …

11 php  mysql  web-crawlers  best-practices 

Tengo un sitio multilenguaje y multidominio. Se ejecuta a través de una instalación única de CMS (Drupal), por lo que tengo un único directorio raíz. Entonces, si tengo un archivo robots.txt estático, solo puedo mostrar los archivos de un solo dominio, que yo sepa. ¿Podría poner una línea en .htaccess? …

11 htaccess  redirects  sitemap  web-crawlers 

Tenemos una página de localización de tiendas en el sitio de nuestros clientes. El usuario final ingresa su código postal y un radio de búsqueda y mostramos los resultados en un mapa de Google. Recientemente comenzamos a notar que el sitio estaba alcanzando el límite de búsqueda de mapas gratis …

10 web-crawlers  google-maps 

Me encontré con este artículo en mis noticias de SEO hoy. Parece implicar que puede usar Noindex:directivas además de las Disallow:directivas estándar en robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que evitaría que los motores de búsqueda rastreen la página uno y que no indexen la página dos. ¿Esta directiva …

10 web-crawlers  robots.txt  googlebot  noindex 

Estoy usando el siguiente archivo robots.txt para un sitio: El objetivo es permitir que googlebot y bingbot accedan al sitio excepto la página /bedven/bedrijf/*y bloqueen el rastreo de todos los demás bots. User-agent: googlebot Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: google Disallow: /bedven/bedrijf/* Crawl-delay: 10 User-agent: bingbot Disallow: /bedven/bedrijf/* Crawl-delay: 10 …

10 web-crawlers  robots.txt 

¿Pueden los agentes de usuario aparecer juntos, seguidos de sus reglas comunes como en un robots.txt ? User-agent: Googlebot User-agent: ia_archiver #Alexa User-agent: BingPreview #Microsoft User-agent: bingbot #Microsoft User-agent: MSNBot #Microsoft User-agent: Slurp #Yahoo User-agent: Ask Jeeves/Teoma #Ask Disallow: /adm30_buds/

10 web-crawlers  robots.txt  user-agent 

Ejecuté un pequeño rastreador web y tuve que decidir qué agente de usuario usar para él. Las listas de agentes de rastreadores y Wikipedia sugieren el siguiente formato: examplebot/1.2 (+http://www.example.com/bot.html) Sin embargo, algunos bots omiten el signo más delante de la URL. Y me pregunto qué significa en primer lugar, …

10 web-crawlers  http  user-agent 

Tenía un par de archivos privados en un directorio en la carpeta de mi escuela. Puede ver que los archivos existían yendo a myschool.edu/myusername/myfolder, pero al intentar acceder a los archivos a través de myschool.edu/myusername/myfolder/myfile.html, se produce un error 403. ¡Y sin embargo, Google de alguna manera logró tomar el …

10 web-crawlers  security  googlebot 

Tengo un sitio web que en su mayoría no quiero que los motores de búsqueda indexen, pero sí quiero conservarlo para la eternidad en archive.org. Entonces mi robots.txtcomienzo con esto: User-agent: * Disallow: / Hoy, de acuerdo con archive.org, debo agregar lo siguiente en mi robots.txtpara permitir sus bots: User-agent: …

10 web-crawlers  robots.txt  internet-archive 

Así que ahora Google ha desaprobado el esquema de rastreo AJAX . Dicen que no se molesten en implementarlo en nuevos sitios web, porque ya no es necesario ya que Googlebot ahora no tiene problemas para ver contenido dinámico. ¿Deberíamos confiar de inmediato en esta declaración, o mejor seguir el …

9 seo  web-crawlers  googlebot  ajax