No me gusta, veo muchos errores 404 en el archivo access.log de mi servidor web. Recibo esos errores porque los rastreadores intentan abrir un archivo robots.txt , pero no pueden encontrar ninguno. Por lo tanto, quiero colocar un archivo robots.txt simple que evitará que aparezcan los errores 404 en mi archivo de registro.
¿Qué es un archivo robots.txt válido mínimo que permita rastrear todo en el sitio?
Respuestas:
Como se indica aquí , cree un archivo de texto llamado robots.txt en el directorio de nivel superior de su servidor web. Puede dejarlo vacío o agregar:
User-agent: *
Disallow:
Si quieres que los robots rastreen todo . Si no, entonces vea el enlace de arriba para más ejemplos.
El mejor mínimo robots.txtes un archivo completamente vacío.
Cualquier otra directiva "nula", como una vacía Disallowo Allow: *no solo es inútil porque no funciona, sino que agrega complejidad innecesaria.
Si no desea que el archivo esté completamente vacío, o si desea que sea más legible para los humanos, simplemente agregue un comentario que comience con el #carácter, como # blank file allows all. Los rastreadores ignoran las líneas que comienzan con #.
Yo diría esto;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Permitirá a Google rastrear todo, pero no permitirá que Google rastree su panel de administración. Cuál es una situación ideal para ti.