Preguntas etiquetadas con googlebot

Estoy rastreando la geolocalización de cada miembro (usando db-ip) y todo está bien, excepto los teléfonos móviles con el navegador Chrome. Siempre me dan el resultado US Mountain View California ip:66.249.xxx.xxx. Este es Google Estoy 100% seguro de eso. Pero la persona que visita el sitio web soy yo. Ni …

27 googlebot  mobile  ip-address  google-chrome 

¿Cómo evito que mis archivos de mapa de sitio XML aparezcan en los resultados de búsqueda de Google como este resultado de una site:consulta de búsqueda: No entiendo por qué Google elegiría mostrar archivos de mapa del sitio en los resultados de búsqueda para empezar. Estos archivos no están destinados …

23 google  sitemap  search-engine-indexing  googlebot  xml-sitemap 

Mucho se ha hecho de la frecuencia de arrastre de la araña Baidu. Es cierto: "Baiduspider se arrastra como un loco". He experimentado este fenómeno en los sitios con los que trabajo. En al menos una instancia, descubrí que Baiduspider se arrastra a aproximadamente la misma frecuencia que Googlebot, a …

18 seo  search-engines  googlebot  web-crawlers 

Agregué un archivo robots.txt a uno de mis sitios hace una semana, lo que debería haber evitado que Googlebot intente obtener ciertas URL. Sin embargo, este fin de semana puedo ver Googlebot cargando esas URL exactas. ¿Google almacena en caché el archivo robots.txt y, de ser así, debería?

17 googlebot  robots.txt  google-cache 

Cada vez que creo un sitio web receptivo, generalmente creo 2 menús: 1 oculto y utilizado para dispositivos móviles y el otro como el menú principal, luego oculto para mostrar el menú móvil. Siempre que se trata de SEO y arañas que navegan por el sitio web, ¿me critican por …

16 seo  web-crawlers  googlebot  navigation 

Actualmente redirijo todas las conexiones que no son HTTPS a HTTPS y soporto TLS v1, TLS v1.1 y TLS v1.2. Reconfiguré mi servidor de prueba para aceptar solo un conjunto de cifrado muy limitado y seguro y solo TLSv1.2. Al ejecutar la prueba SSL Labs , noté que su tabla …

12 seo  search-engines  https  googlebot  bingbot 

He visto códigos como para evitar que Google indexe parte de una página: <p>This is a paragraph that will be indexed by Google.</p> <!--googleoff: index--> <p>This is a paragraph that will NOT be indexed by Google.</p> <!--googleon: index> ¿Esto funciona?

12 search-engine-indexing  googlebot 

Aquí está uno de mis clientes, que realiza algunas acciones después de haber iniciado sesión en su cuenta. El token único es simplemente una identificación de usuario cifrada + marca de tiempo. 94.254.xxx.xxx - - [02 / Jul / 2011: 22: 25: 46 +0200] "GET / some-action / unique-token-123abc HTTP …

12 google  search-engines  googlebot 

Me di cuenta de que Google Webmaster Tools informa muchos recursos bloqueados en mi sitio web. En este momento, todos los "recursos bloqueados" son .css, .js e imágenes (.jpg, .png) que sirvo desde Cloudfront CDN. He pasado mucho tiempo probando e intentando descubrir por qué Google no rastrea estos archivos …

11 google-search-console  web-crawlers  googlebot  cdn  amazon-cloudfront 

Después de haber escrito una serie de bots, y visto las enormes cantidades de bots aleatorios que rastrean un sitio, me pregunto como webmaster, ¿qué bots realmente vale la pena dejar en un sitio? Mi primer pensamiento es que permitir que los bots ingresen al sitio puede atraer tráfico real. …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Contexto: tenemos un sitio web que está disponible en varias versiones de idiomas. Sin embargo, el contenido es el mismo. Cada versión traducida del sitio está disponible en un subdominio distinto. En algunas páginas, usamos <link rel="canonical" />para apuntar a la versión canónica en el mismo idioma de la misma …

11 seo  google  googlebot  internationalization 

Me encontré con este artículo en mis noticias de SEO hoy. Parece implicar que puede usar Noindex:directivas además de las Disallow:directivas estándar en robots.txt . Disallow: /page-one.html Noindex: /page-two.html Parece que evitaría que los motores de búsqueda rastreen la página uno y que no indexen la página dos. ¿Esta directiva …

10 web-crawlers  robots.txt  googlebot  noindex 

Si tengo contenido detrás de un formulario POST (un cuadro de selección, en mi caso), ¿podrá el robot de Google u otras arañas de motores de búsqueda rastrear el contenido detrás de ese formulario? Por ejemplo, si tuviera 4 traducciones de una página, y la selección del idioma fuera un …

10 seo  googlebot  forms  multilingual 

Tenía un par de archivos privados en un directorio en la carpeta de mi escuela. Puede ver que los archivos existían yendo a myschool.edu/myusername/myfolder, pero al intentar acceder a los archivos a través de myschool.edu/myusername/myfolder/myfile.html, se produce un error 403. ¡Y sin embargo, Google de alguna manera logró tomar el …

10 web-crawlers  security  googlebot 

Así que ahora Google ha desaprobado el esquema de rastreo AJAX . Dicen que no se molesten en implementarlo en nuevos sitios web, porque ya no es necesario ya que Googlebot ahora no tiene problemas para ver contenido dinámico. ¿Deberíamos confiar de inmediato en esta declaración, o mejor seguir el …

9 seo  web-crawlers  googlebot  ajax