He estado usando la siguiente línea en <head>mis sitios durante años:
<meta name="revisit-after" content="3 days" />
Recientemente descubrí que no es una de las metaetiquetas que Google entiende, lo que considero que no tiene sentido incluirlo, y que no ha funcionado en absoluto durante años.
¿Con qué frecuencia los motores de búsqueda rastrean un sitio web de forma predeterminada y qué formas confiables existen para aumentar o disminuir esa frecuencia?
Respuestas:
Puede controlar qué tan rápido Google rastrea su sitio en las Herramientas para webmasters de Google .
La velocidad de rastreo de su sitio determina el tiempo que utiliza Googlebot para rastrear su sitio en cada visita. Nuestro objetivo es rastrear a fondo su sitio (para que sus páginas puedan indexarse y devolverse en los resultados de búsqueda) sin crear un impacto notable en el ancho de banda de su servidor. Si bien la mayoría de los webmasters están bien usando la configuración de rastreo predeterminada (es decir, no se necesitan cambios, más sobre eso a continuación), algunos webmasters pueden tener necesidades más específicas.
Googlebot emplea algoritmos sofisticados que determinan cuánto rastrear cada sitio que visita. Para la gran mayoría de los sitios, probablemente sea mejor elegir la opción "Dejar que Google determine mi frecuencia de rastreo", que es la opción predeterminada. Sin embargo, si es un usuario avanzado o si tiene problemas de ancho de banda con su servidor, puede personalizar su frecuencia de rastreo a la velocidad más óptima para sus servidores web. La opción de frecuencia de rastreo personalizada le permite proporcionar información de Googlebot sobre la cantidad máxima de solicitudes por segundo y la cantidad de segundos entre las solicitudes que considere mejores para su entorno.
Googlebot determina el rango de valores de frecuencia de rastreo que tendrá disponible en las Herramientas para webmasters de Google. Esto se basa en nuestra comprensión de las capacidades de su servidor. Este rango puede variar de un sitio a otro y a lo largo del tiempo en función de varios factores. Establecer la frecuencia de rastreo en un valor inferior al predeterminado puede afectar la cobertura y la frescura de su sitio en los resultados de búsqueda de Google. Sin embargo, establecerlo en un valor superior al predeterminado no mejorará su cobertura o clasificación. Si establece una frecuencia de rastreo personalizada, la nueva tasa tendrá vigencia durante 90 días, luego de lo cual se restablecerá al valor recomendado de Google.
Puede usar esta configuración solo para sitios de nivel raíz y sitios no alojados en un dominio grande como blogspot.com (tenemos configuraciones especiales asignadas para ellos). Para verificar la configuración de la frecuencia de rastreo, inicie sesión en Herramientas para webmasters y visite la pestaña Configuración. Si tiene preguntas adicionales, visite el Centro de ayuda para webmasters para obtener más información sobre cómo Google rastrea su sitio o publique sus preguntas en el Foro de ayuda para webmasters.
Aparte de eso, es probable que necesite crear su propio sistema de filtrado que detecte a sus agentes de usuario y permita o niegue los robots de motores de búsqueda basados en su agente de usuario. Pero eso solo afectaría la disminución de su frecuencia.
Para responder la segunda parte de su pregunta, puede decirle a Google usando las Herramientas para webmasters
Para cambiar la frecuencia de rastreo:
En la página de inicio de Herramientas para webmasters de Google, haga clic en el sitio que desee.
En Configuración del sitio, haga clic en Configuración.
En la sección Velocidad de rastreo, seleccione la opción que desee.
https://www.google.com/support/webmasters/bin/answer.py?answer=48620&hl=en_GB
En las preguntas frecuentes de Bing se refiere a esta publicación que recomienda establecer Crawl-Delay: Xdónde x es el número de segundos de espera entre cada solicitud.
Por supuesto, los mapas del sitio indican con qué frecuencia cambian las páginas.