Preguntas etiquetadas con robots.txt

En robots.txt, ¿puedo escribir la siguiente URL relativa para el archivo de mapa del sitio? sitemap: /sitemap.ashx ¿O tengo que usar la URL completa (absoluta) para el archivo de mapa del sitio, como: sitemap: http://subdomain.domain.com/sitemap.ashx Por qué me pregunto Tengo un nuevo servicio de blog, www.dominio.com, que permite a los …

191 seo  sitemap  robots.txt 

Mi robots.txten las Herramientas para webmasters de Google muestra los siguientes valores: User-agent: * Allow: / Qué significa eso? No tengo suficiente conocimiento al respecto, así que busco tu ayuda. Quiero permitir que todos los robots rastreen mi sitio web, ¿es esta la configuración correcta?

116 robots.txt 

¿Existe alguna solución inteligente para almacenar archivos estáticos en el directorio raíz de la aplicación de Flask? Se espera que robots.txt y sitemap.xml se encuentren en /, por lo que mi idea fue crear rutas para ellos: @app.route('/sitemap.xml', methods=['GET']) def sitemap(): response = make_response(open('sitemap.xml').read()) response.headers["Content-type"] = "text/plain" return response Debe …

94 python  flask  static  mod-wsgi  robots.txt