Estamos viendo algunas páginas que existen en nuestro sitemap.xml
pero que inexplicablemente faltan en el índice de búsqueda pública de Google.
No puede descargar /superuser//sitemap.xml , protegemos este archivo porque ha habido problemas con él en el pasado, pero googlebot sí. Verificamos a través de las Herramientas para webmasters de Google que el sitemap.xml
archivo se eliminó hoy y está calificado como OK sin errores (marca de verificación verde).
El sitemap.xml
contiene una lista de los últimos 50.000 preguntas en nuestro sitio que se les pidió. Por ejemplo, esta pregunta ...
/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links
... existe en el sitemap.xml
...
<url>
<loc>/superuser/201610/how-to-see-the-end-of-a-long-chain-of-symbolic-links</loc>
<lastmod>2010-10-20</lastmod>
<changefreq>daily</changefreq>
<priority>0.2</priority>
</url>
La búsqueda de "Cómo ver el final de una larga cadena de enlaces simbólicos" le da un solo resultado a questionhub.com que está raspando nuestros datos (un problema completamente diferente).
Puede incrementar el número de conteo de preguntas y hacer una búsqueda exacta del título de la pregunta y verá que este patrón persiste.
Estas URL están en sitemap.xml pero no se muestran en el índice de Google, y sin embargo, se muestran en sitios que raspan nuestros datos comunes creativos. ¿Por qué sería eso?