Tengo un subdirectorio que me gustaría ocultar de los rastreadores web del motor de búsqueda.
Una forma de hacerlo es usar a robots.txt
en el directorio raíz del servidor (la forma estándar). Sin embargo, cualquier persona que conozca la URL del sitio web y tenga algún conocimiento básico de la web puede acceder al contenido de robots.txt y puede detectar los directorios no permitidos.
Pensé en una forma de evitar esto, pero no estoy seguro de si funcionará.
Deje X
ser el nombre del subdirectorio que quiero excluir. Una forma de evitar que los rastreadores web indexen el X
directorio y, al mismo tiempo, dificultar que alguien identifique el X
directorio desde la raíz robots.txt
, es agregar robots.txt
el X
directorio en el directorio en lugar del directorio raíz.
Si sigo esta solución, tengo las siguientes preguntas:
- ¿Los rastreadores web encontrarán el
robots.txt
en el subdirectorio? (dado querobots.txt
ya existe un y en el directorio raíz) Si
robots.txt
está en elX
subdirectorio, ¿debería usar rutas relativas o absolutas ?:User-agent: * Disallow: /X/
o
User-agent: * Disallow: /