Preguntas etiquetadas con robots.txt

Robots.txt es un archivo de texto utilizado por los propietarios de sitios web para dar instrucciones sobre su sitio a los robots web. Básicamente le dice a los robots qué partes del sitio están abiertas y qué partes están cerradas. Esto se llama Protocolo de exclusión de robots.

4
Archivos que debería tener en cada sitio web
Me gustaría tener una lista de archivos que deberían existir en cada sitio web. La idea es complacer a la mayoría de los navegadores y bots y obtener la cantidad de mensajes 404 en los registros. Hasta ahora tengo los siguientes archivos: /favicon.ico /robots.txt /sitemap.xml /apple-touch-icon-72x72-precomposed.png /apple-touch-icon-72x72.png /apple-touch-icon-precomposed.png /apple-touch-icon.png ¿Hay …




2
¿Cómo rechazo un directorio completo con robots.txt?
Tengo dos sitios en los que estoy trabajando actualmente, que es un carrito de compras y otro comprador. Ambos están bajo el mismo nombre de dominio, por ejemplo http://example.com/first_url http://example.com/second_url Ambas URL tienen toneladas de páginas debajo de ellas. http://example.com/first_url/product1 http://example.com/first_url/product2 http://example.com/first_url/product3 http://example.com/second_url/product1 http://example.com/second_url/product2 http://example.com/second_url/product3 ¿Cómo rechazo la URL principal …
19 seo  robots.txt 




4
El sitio fue pirateado, ¿necesita eliminar todas las URL que comienzan con + de Google, usar robots.txt?
¿Podría decirme cómo bloquear dichas URL robots.txtpara que Googlebots deje de indexar? http://www.example.com/+rt6s4ayv1e/d112587/ia0g64491218q Mi sitio web fue pirateado, que ahora se recuperó, pero el pirata informático indexó 5000 URL en Google y ahora recibo el error 404 en enlaces generados aleatoriamente, ya que sobre todo comienza con el /+enlace anterior. …

3
¿Qué es un archivo robots.txt mínimo válido?
No me gusta, veo muchos errores 404 en el archivo access.log de mi servidor web. Recibo esos errores porque los rastreadores intentan abrir un archivo robots.txt , pero no pueden encontrar ninguno. Por lo tanto, quiero colocar un archivo robots.txt simple que evitará que aparezcan los errores 404 en mi …
14 robots.txt 

3
Robots.txt - CSS permite o no permite
¿Se permiten CSS y plantillas en robots.txt ? ¿Debería causar algún problema? En Joomla, CSS y plantillas no están permitidos en el archivo robots.txt . Por favor, ayúdenme a encontrar una solución a si poner o no en los robots para CSS, plantillas, etc. para mis próximos sitios web.
12 css  robots.txt 




2
Las Herramientas para webmasters de Google me dicen que los robots están bloqueando el acceso al mapa del sitio
Este es mi robots.txt : User-agent: * Disallow: /wp-admin/ Disallow: /wp-includes/ Sitemap: http://www.example.org/sitemap.xml.gz Pero las Herramientas para webmasters de Google me dicen que los robots están bloqueando el acceso al mapa del sitio: Encontramos un error al intentar acceder a su Sitemap. Asegúrese de que su Sitemap siga nuestras pautas …

Al usar nuestro sitio, usted reconoce que ha leído y comprende nuestra Política de Cookies y Política de Privacidad.
Licensed under cc by-sa 3.0 with attribution required.