Hasta donde yo sé, no hay bots o aplicaciones que soliciten sitemap.xml sin que se les diga que debería estar allí. La mayoría de los sitios probablemente no lo tienen, y de los sitios que sí, muchos usan gzip, y muchos llaman al archivo de otra manera o colocan los mapas del sitio en una subcarpeta.
Aquí están todos los que conozco:
- favicon.ico
Le da a sus páginas un ícono en pestañas, marcadores, etc.
- robots.txt
Útil si necesita bloquear cualquier página de los motores de búsqueda, pero puede estar en blanco para permitir el acceso a todo. También puede contener la ubicación de su mapa del sitio.
- Archivos de verificación de Herramientas para webmasters de Google
El método más fácil de verificación (guarda tener metaetiquetas inútiles en su código HTML) Hay google[hash].html
y BingSiteAuth.xml
. También tengo uno para Yahoo en mi raíz, pero probablemente ya no sea necesario.
- crossdomain.xml
Adobe Flash solicita este archivo cada vez que Flash necesita conectarse a su sitio. Probablemente nunca verá este archivo en sus registros en un sitio pequeño, pero tuve un montón de solicitudes en un sitio. Puede crear un archivo en blanco, ya que el valor predeterminado es bloquear el acceso a sitios externos.
- .htaccess (Apache)
Obviamente no solicitado por los navegadores / bots, pero vital para la mayoría de los sitios.
Finalmente, con respecto a los íconos que el iPhone insiste en solicitar: hay varios tamaños que pueden solicitarse. Mi iPhone 3G (iOS 5) solicita la versión 57x57 y veo 72x72 y 114x114 (la más común) en mis registros de errores. Entonces, si desea eliminar todos los 404 de sus registros, increíblemente, necesitará proporcionar todos estos:
/apple-touch-icon-57x57-precomposed.png
/apple-touch-icon-57x57.png
/apple-touch-icon-72x72-precomposed.png
/apple-touch-icon-72x72.png
/apple-touch-icon-114x114-precomposed.png
/apple-touch-icon-114x114.png
/apple-touch-icon-precomposed.png
/apple-touch-icon.png