¿Cómo configurar robots.txt para permitir todo?

Mi robots.txten las Herramientas para webmasters de Google muestra los siguientes valores:

User-agent: *
Allow: /

Qué significa eso? No tengo suficiente conocimiento al respecto, así que busco tu ayuda. Quiero permitir que todos los robots rastreen mi sitio web, ¿es esta la configuración correcta?

Ese archivo permitirá el acceso de todos los rastreadores

User-agent: *
Allow: /

Esto básicamente permite que todos los agentes de usuario (el *) accedan a todas las partes del sitio (el /).

Si desea permitir que cada bot rastree todo, esta es la mejor manera de especificarlo en su robots.txt:

User-agent: *
Disallow:

Tenga en cuenta que el Disallowcampo tiene un valor vacío, lo que significa de acuerdo con la especificación :

Cualquier valor vacío indica que se pueden recuperar todas las URL.

Tu forma (con en Allow: /lugar de Disallow:) también funciona, pero Allowno es parte de la especificación original de robots.txt , por lo que no es compatible con todos los bots (aunque muchos de los más populares lo admiten, como el robot de Google ). Dicho esto, los campos no reconocidos deben ignorarse, y para los bots que no reconocen Allow, el resultado sería el mismo en este caso de todos modos: si no se prohíbe rastrear nada (con Disallow), se permite rastrear todo.
Sin embargo, formalmente (según la especificación original) es un registro no válido, porque Disallowse requiere al menos un campo:

Al menos un campo Disallow debe estar presente en un registro.

Entiendo que esta es una pregunta bastante antigua y tiene algunas respuestas bastante buenas. Pero, aquí están mis dos centavos en aras de la integridad.

Según la documentación oficial , hay cuatro formas en las que puede permitir el acceso completo para que los robots accedan a su sitio.

Limpiar:

Especifique un comparador global con un segmento no permitido como lo menciona @unor. Entonces tu se /robots.txtve así.

User-agent: *
Disallow:

El truco:

Cree un /robots.txtarchivo sin contenido. Que permitirá por defecto todo para todo tipo de Bots.

No me importa la manera:

No cree un /robots.txtarchivo completo. Lo que debería producir exactamente los mismos resultados que los dos anteriores.

El feo:

De la documentación de robots para metaetiquetas , puede usar la siguiente metaetiqueta en todas las páginas de su sitio para informar Botsque estas páginas no deben indexarse.

<META NAME="ROBOTS" CONTENT="NOINDEX">

Para que esto se aplique a todo su sitio, deberá agregar esta metaetiqueta para todas sus páginas. Y esta etiqueta debe colocarse estrictamente debajo de su HEADetiqueta de la página. Más sobre esta metaetiqueta aquí .

Significa que permite que cada ( *) agente de usuario / rastreador acceda a la raíz ( /) de su sitio. Estas bien.