Preguntas etiquetadas con web-crawlers

He estado migrando un sitio a un nuevo dominio. El sitio en sí es bastante sencillo (usa Jekyll), y todo ha ido bien, excepto la migración de hilos Disqus. He tenido un éxito parcial : algunos de los hilos han migrado con éxito, pero no todos. He probado el asistente …

9 web-crawlers 

He estado usando Ask.comcomo uno de los motores de búsqueda para hacer ping a mi mapa del sitio. Cuando fui a hacer ping a mi mapa del sitio hoy para volver a indexarlo, el sitio web ( http://submissions.ask.com/ping ) dice que ya no existe. Hice una búsqueda de DNS submissions.ask.comy …

9 search-engines  sitemap  web-crawlers  ping 

Tengo un sitio que, por razones regulatorias, no puede indexarse ​​o buscarse automáticamente. Esto significa que debemos mantener alejados a todos los robots y evitar que recorran el sitio. Obviamente hemos tenido un archivo robots.txt que no permite nada desde el principio. Sin embargo, observar el archivo robots.txt es algo …

9 apache  web-crawlers  user-agent 

He visto algunos errores 404 cuando se solicita ads.txt en algunos de los sitios que administro. Supongo que la respuesta puede ser idéntica a la pregunta sobre un archivo robots.txt vacío o ningún archivo (solo evita algunos errores 404). Sin embargo, tengo dificultades para comprender los conceptos subyacentes detrás de …

9 web-crawlers  advertising 

Me gustaría negar el archive.isacceso a mi sitio web. (No quiero que este sitio web almacene el mío en caché sin mi consentimiento). ¿Sabes si es posible?

8 web-crawlers  noarchive 

Mi esposa trabaja en una escuela secundaria en Alemania. Hace poco noté que es extremadamente difícil encontrar la página de inicio de esa escuela usando Google. Miré el código fuente de la página y creo que he encontrado la razón: hay dos <meta name="robots">etiquetas; uno es <meta name="robots" content="all"> y …

8 seo  web-crawlers  meta-robots 

Si creo una página estática en un dominio (http://www.domain.com/page.html), ¿puede un rastreador seguir viéndolo si no hay enlaces a él en ningún lugar del sitio?

8 web-crawlers