Tengo un sitio dinámico que tiene muchos (bueno, menos de 50) usuarios. Cada usuario puede crear tantas páginas como desee. Sé que hay un límite en la cantidad de páginas que se pueden incluir en sitemap.xml, y por ahora estoy por debajo de ese límite, pero me gustaría saber cuál es la mejor manera de permitir que los motores de búsqueda sepan (¿todo?) las páginas de mi usuario aún están por debajo de ese límite, incluso si tengo más del límite.
Respuestas:
Los archivos del mapa del sitio tienen un límite de 50,000 URL y 10 megabytes por mapa del sitio. Los sitemaps se pueden comprimir usando gzip, lo que reduce el consumo de ancho de banda. Se admiten varios archivos de mapa de sitio, con un archivo de índice de mapa de sitio que sirve como punto de entrada para un total de 1000 mapas de sitio.
Tenga en cuenta que puede especificar varios mapas de sitio en su archivo robots.txt :
Si te topas con la limitación, quizás dividas a tus usuarios de alguna manera. Digamos que cada uno de sus usuarios no tiene más de 10,000 URL por pieza, puede dividirlo en archivos y agregar esto a su robots.txtarchivo:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Ahora, aún debe tener en cuenta el límite de 10 MB para cada mapa del sitio individual, pero este es un enfoque para manejar el problema de "demasiadas" URL.
Vea los archivos CNN y Google robots.txt para ver múltiples mapas de sitio en acción.