Preguntas etiquetadas con robots.txt

Acabo de actualizar mi archivo robots.txt en un nuevo sitio; Google Webmaster Tools informa que leyó mi robots.txt 10 minutos antes de mi última actualización. ¿Hay alguna forma de alentar a Google a que vuelva a leer mi archivo robots.txt lo antes posible? ACTUALIZACIÓN: en Configuración del sitio | Acceso …

22 google  robots.txt  google-webmaster-tools 

A fin de que: Aumentar la seguridad de mi sitio web Reduce los requisitos de ancho de banda Prevenir la recolección de direcciones de correo electrónico

14 performance  security  robots.txt 

Estoy tratando de configurar robots.txttodos los hosts virtuales en el servidor http nginx. Pude hacerlo en Apache poniendo lo siguiente en main httpd.conf: <Location "/robots.txt"> SetHandler None </Location> Alias /robots.txt /var/www/html/robots.txt Intenté hacer algo similar con nginx agregando las líneas dadas a continuación (a) dentro de nginx.conf y (b) como …

13 nginx  robots.txt 

Tenemos una configuración de servidor web de desarrollo Apache XAMPP con hosts virtuales y queremos evitar que los serps rastreen todos nuestros sitios. Esto se hace fácilmente con un archivo robots.txt. Sin embargo, preferimos no incluir un archivo robots.txt de rechazo en cada vhost y luego tener que eliminarlo cuando …

10 apache-2.2  php  robots.txt