¿Cómo rechazo un directorio completo con robots.txt?

19

Tengo dos sitios en los que estoy trabajando actualmente, que es un carrito de compras y otro comprador. Ambos están bajo el mismo nombre de dominio, por ejemplo

http://example.com/first_url 
http://example.com/second_url

Ambas URL tienen toneladas de páginas debajo de ellas.

http://example.com/first_url/product1
http://example.com/first_url/product2 
http://example.com/first_url/product3

http://example.com/second_url/product1
http://example.com/second_url/product2 
http://example.com/second_url/product3

¿Cómo rechazo la URL principal /first_urly /second_urltambién todas las subpáginas y subdirectorios? Estaba pensando en algo como esto, pero no sé si esto funciona o no y si era la sintaxis correcta

Disallow: /first_url/*/
Disallow: /second_url/*/

seo robots.txt

— Stephen Ostermiller
fuente

1

Creo que su sintaxis es correcta pero no estoy seguro sobre el extra /

26

No necesita la barra diagonal final para bloquear esos directorios. Esto funcionará:

Disallow: /first_url/*
Disallow: /second_url/*

Esta página de ayuda de Google cubre esto bastante bien.

— John Conde
fuente

77

Simplemente puede hacer "Disallow: / first_url". El comodín final se ignora. De acuerdo con developers.google.com/webmasters/control-crawl-index/docs/…

— Evgenii

Necesita No permitir: / url / * para que coincida con cosas como example.com/url/test?test=1

— Gareth Daine

-1

Puede usar esto como predeterminado robots.txt:

User-agent: *
Disallow: first_url/*
Disallow: second_url/*

La estrella permitirá que todo lo que se encuentre en esa categoría no se permita. Incluso puede rechazar una cosa específica en esa categoría escribiendo esa url específica.

— SAF
fuente

44

Esto no es diferente a la respuesta aceptada, aparte de que falta la barra diagonal inicial. Las reglas de rechazo en robots.txt deberían comenzar con una barra diagonal. Así es como todos los ejemplos están en la documentación

— Stephen Ostermiller