En un servidor web ahora tengo que administrar, noté que el archivo robots.txt está vacío. Me preguntaba si hay una diferencia entre un archivo robots.txt vacío y ningún archivo.
¿Los rastreadores se comportan de manera diferente en estos dos casos? Entonces, ¿es seguro eliminar un archivo robots.txt vacío?
Respuestas:
¿Los rastreadores se comportan de manera diferente en estos dos casos?
Un archivo robots.txt que está vacío no es realmente diferente de uno que no se encuentra, ambos no permiten el rastreo.
Sin embargo, es posible que reciba muchos 404errores en los registros de su servidor cuando los rastreadores solicitan el archivo robots.txt , como se indica en esta pregunta aquí .
Entonces, ¿es seguro eliminar un archivo robots.txt vacío?
Sí, con la advertencia anterior.