Preguntas etiquetadas con internet-archive

¿Existen mecanismos para controlar lo que archiva Internet Archive en un sitio? Sé no permitir todas las páginas que podría agregar : User-agent: ia_archiver Disallow: / ¿Puedo decirle al bot que quiero que rastree mi sitio una vez al mes o una vez al año? Tengo un sitio / páginas …

13 cache  internet-archive 

Tengo un sitio web que en su mayoría no quiero que los motores de búsqueda indexen, pero sí quiero conservarlo para la eternidad en archive.org. Entonces mi robots.txtcomienzo con esto: User-agent: * Disallow: / Hoy, de acuerdo con archive.org, debo agregar lo siguiente en mi robots.txtpara permitir sus bots: User-agent: …

10 web-crawlers  robots.txt  internet-archive