¿Debo incluir todo en el mapa del sitio o solo contenido nuevo?

Para un sitio web con contenido dinámico (se agrega constantemente contenido nuevo), ¿debería incluir solo el contenido más nuevo en el mapa del sitio o debería incluir todo (con un índice de mapa del sitio)? ¿Cuáles son las mejores prácticas para sitemaps esp. para sitios grandes?

Además, ¿hay alguna forma de hacer que Google (y otros motores de búsqueda) solo rastreen las páginas en el mapa del sitio?

Gracias

Actualización:
¿Alguna idea de cómo stackoverflow maneja esto? Me gustaría saberlo pero desafortunadamente (también comprensivamente ) han bloqueado el acceso a su mapa del sitio.

seo sitemap

— Mee
fuente

¿Qué tan grande es el sitio? Hay un límite de tamaño tanto para robots.txt como para el mapa del sitio. Sorprendentemente, muchos superan ambos, por eso lo pregunto.

— Tim Post

@Tim, no es realmente grande por ahora (todo puede caber en un mapa del sitio), pero estoy tratando de planificar con anticipación.

— Reunido el

Incluye todas las páginas. El propósito del mapa del sitio XML es informar a los motores de búsqueda sobre todo su contenido. No solo las cosas nuevas.

Desde el sitio web sitemaps.org (el énfasis es mío):

Los sitemaps son una manera fácil para que los webmasters informen a los motores de búsqueda sobre las páginas en sus sitios que están disponibles para rastrear .

Si tiene mucho contenido, puede usar múltiples mapas de sitio XML .

Si tiene contenido que no desea rastrear o indexar, debe indicar específicamente a los motores de búsqueda que no rastreen ni indexen esas páginas. Use un archivo robots.txt para bloquear cualquier página o directorio que no desee rastrear. También puede usar una metaetiqueta para eso también. Pero no puede especificar en un mapa del sitio XML para no rastrear páginas no listadas.

— John Conde
fuente

Gracias por su respuesta, incluiré todo en el mapa del sitio.

— Reunido el

¿Tiene una biblioteca que puede manejar 50 + k de páginas?

¿Están esas más de 50 páginas en una base de datos?

— John Conde

No necesita colocar cada página de su sitio en un mapa del sitio. Un mapa del sitio es útil para informar a los motores de búsqueda acerca de las páginas disponibles para el rastreo. Si el motor de búsqueda ya puede ver todas las páginas rastreables y no está agregando información sobre la "última modificación", entonces no hay ninguna razón para tener una.

— Django Reinhardt

Esta respuesta parece algo conflictiva con webmasters.stackexchange.com/a/5151/30596 . Citando a @John Mueller de Google,

Using a Sitemap file won't reduce our normal crawling of your site. It's additional information, not a replacement for crawling. Similarly, not having a URL in a Sitemap file doesn't mean that it won't be indexed.

— usuario