Preguntas etiquetadas con robots.txt

Me gustaría tener una lista de archivos que deberían existir en cada sitio web. La idea es complacer a la mayoría de los navegadores y bots y obtener la cantidad de mensajes 404 en los registros. Hasta ahora tengo los siguientes archivos: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png ¿Hay …

36 robots.txt  404  logging  favicon 

Si no quiero establecer ningún comportamiento especial, ¿está bien si no me molesto en tener un archivo robots.txt? ¿O puede la falta de uno ser perjudicial?

29 robots.txt 

En un servidor web ahora tengo que administrar, noté que el archivo robots.txt está vacío. Me preguntaba si hay una diferencia entre un archivo robots.txt vacío y ningún archivo. ¿Los rastreadores se comportan de manera diferente en estos dos casos? Entonces, ¿es seguro eliminar un archivo robots.txt vacío?

28 web-crawlers  robots.txt  webserver 

Tengo algunas URL dinámicas generadas. ¿Puedo usar regex para bloquear estas URL en un archivo robots.txt?

23 robots.txt  regular-expression 

Tengo dos sitios en los que estoy trabajando actualmente, que es un carrito de compras y otro comprador. Ambos están bajo el mismo nombre de dominio, por ejemplo http://example.com/first_url http://example.com/second_url Ambas URL tienen toneladas de páginas debajo de ellas. http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 ¿Cómo rechazo la URL principal …

19 seo  robots.txt 

Tengo algunas páginas en mi sitio que quiero mantener alejados de los motores de búsqueda, así que no las permití en mi robots.txtarchivo de esta manera: User-Agent: * Disallow: /email Sin embargo, recientemente me di cuenta de que Google todavía a veces devuelve enlaces a esas páginas en sus resultados …

18 google-search  robots.txt 

Agregué un archivo robots.txt a uno de mis sitios hace una semana, lo que debería haber evitado que Googlebot intente obtener ciertas URL. Sin embargo, este fin de semana puedo ver Googlebot cargando esas URL exactas. ¿Google almacena en caché el archivo robots.txt y, de ser así, debería?

17 googlebot  robots.txt  google-cache 

Tengo un subdirectorio que me gustaría ocultar de los rastreadores web del motor de búsqueda. Una forma de hacerlo es usar a robots.txten el directorio raíz del servidor (la forma estándar). Sin embargo, cualquier persona que conozca la URL del sitio web y tenga algún conocimiento básico de la web …

16 web-crawlers  robots.txt 

¿Podría decirme cómo bloquear dichas URL robots.txtpara que Googlebots deje de indexar? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Mi sitio web fue pirateado, que ahora se recuperó, pero el pirata informático indexó 5000 URL en Google y ahora recibo el error 404 en enlaces generados aleatoriamente, ya que sobre todo comienza con el /+enlace anterior. …

15 google-search  robots.txt  url-removal 

No me gusta, veo muchos errores 404 en el archivo access.log de mi servidor web. Recibo esos errores porque los rastreadores intentan abrir un archivo robots.txt , pero no pueden encontrar ninguno. Por lo tanto, quiero colocar un archivo robots.txt simple que evitará que aparezcan los errores 404 en mi …

14 robots.txt 

¿Se permiten CSS y plantillas en robots.txt ? ¿Debería causar algún problema? En Joomla, CSS y plantillas no están permitidos en el archivo robots.txt . Por favor, ayúdenme a encontrar una solución a si poner o no en los robots para CSS, plantillas, etc. para mis próximos sitios web.

12 css  robots.txt 

Hay algunas páginas en mi sitio web que deseo que el usuario pueda visitar solo si le doy la URL. Si no autorizo ​​las páginas individuales robots.txt, serán visibles para cualquiera que las vea. Mi pregunta es: si no los vinculo desde ninguna parte, o al menos desde cualquier página …

12 robots.txt 

Después de haber escrito una serie de bots, y visto las enormes cantidades de bots aleatorios que rastrean un sitio, me pregunto como webmaster, ¿qué bots realmente vale la pena dejar en un sitio? Mi primer pensamiento es que permitir que los bots ingresen al sitio puede atraer tráfico real. …

11 seo  web-crawlers  robots.txt  googlebot  bingbot 

Tengo un subdominio que no quiero que aparezca en ningún resultado del motor de búsqueda. Digamos que tengo: http://www.example.com http://child.example.com ¿Cómo puedo ocultar todas las URL de child.example.comdominio que se muestran actualmente en los resultados del motor de búsqueda?

11 search-engines  url  robots.txt  search  noindex 

Este es mi robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Pero las Herramientas para webmasters de Google me dicen que los robots están bloqueando el acceso al mapa del sitio: Encontramos un error al intentar acceder a su Sitemap. Asegúrese de que su Sitemap siga nuestras pautas …

11 google-search-console  robots.txt  web-crawlers