Preguntas etiquetadas con robots.txt

Robots.txt es un archivo de texto utilizado por los propietarios de sitios web para dar instrucciones sobre su sitio a los robots web. Básicamente le dice a los robots qué partes del sitio están abiertas y qué partes están cerradas. Esto se llama Protocolo de exclusión de robots.

4
Cómo evitar que ciertas URL se indexen
Cuando escribo site:example.com(usando mi dominio obviamente), recibo varios errores de enlace que aparecen en la lista. Por lo general, son de la forma:/some/fixed/path/admin/unblockUser/11 Estoy pensando en agregar la siguiente línea a mi robots.txtarchivo: Disallow: /some/fixed/path/admin/*
Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.