Combina agentes de usuario en robots.txt

¿Pueden los agentes de usuario aparecer juntos, seguidos de sus reglas comunes como en un robots.txt ?

User-agent: Googlebot
User-agent: ia_archiver #Alexa
User-agent: BingPreview #Microsoft
User-agent: bingbot #Microsoft
User-agent: MSNBot #Microsoft
User-agent: Slurp #Yahoo
User-agent: Ask Jeeves/Teoma #Ask
Disallow: /adm30_buds/

web-crawlers robots.txt user-agent

— davidcondrey
fuente

¿Hay alguna razón por la que no usas user-agent: *seguido del rechazo? ¿La lista de agentes de usuario "permitidos" es más larga que la lista que desea rechazar?

— Mike Hudson

Vea también en SO: ¿Es posible enumerar múltiples agentes de usuario en una línea?

— hasta el

Si. Suponiendo que los nombres de sus agentes estén especificados correctamente, parece que esto debería funcionar. Aquí hay un recurso si desea leer más. https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt

— closetnoc
fuente

La especificación original de robots.txt concuerda: "Si hay más de un campo de agente de usuario presente, el registro describe una política de acceso idéntica para más de un robot".

— Ilmari Karonen