Bonne installation de sitemap.xml
J'ai un site dynamique qui compte de nombreux (bien moins de 50 utilisateurs). Chaque utilisateur est autorisé à créer autant de pages qu'il le souhaite. Je sais qu'il y a une limite au nombre de pages pouvant être répertoriées dans sitemap.xml. Pour l'instant, je suis en deçà de cette limite, mais j'aimerais savoir quel est le meilleur moyen de permettre aux moteurs de recherche de tout savoir sur les pages de mes utilisateurs tout en restant au-dessous de cette limite, même si j'ai plus que la limite.
Les fichiers de sitemap ont une limite de 50 000 URL et 10 mégaoctets par sitemap. Les plans Sitemap peuvent être compressés à l'aide de gzip, ce qui réduit la consommation de bande passante. Plusieurs fichiers de plan de site sont pris en charge, un fichier d’index Sitemap servant de point d’entrée pour un total de 1 000 plans Sitemap.
Notez que vous pouvez spécifier plusieurs sitemaps dans votre fichier robots.txt :
Si vous vous en tenez aux limites, divisez peut-être vos utilisateurs. Supposons que chacun de vos utilisateurs ne possède pas plus de 10 000 URLs par pièce. Vous pouvez le scinder en fichiers et l'ajouter à votre fichier robots.txt:
Sitemap: http://www.example.com/sitemaps/users-001-005.xml
Sitemap: http://www.example.com/sitemaps/users-006-010.xml
Sitemap: http://www.example.com/sitemaps/users-011-015.xml
Sitemap: http://www.example.com/sitemaps/users-016-020.xml
Sitemap: http://www.example.com/sitemaps/users-021-025.xml
Sitemap: http://www.example.com/sitemaps/users-026-030.xml
Sitemap: http://www.example.com/sitemaps/users-031-035.xml
Sitemap: http://www.example.com/sitemaps/users-036-040.xml
Sitemap: http://www.example.com/sitemaps/users-041-045.xml
Sitemap: http://www.example.com/sitemaps/users-046-050.xml
Maintenant, vous devez toujours garder à l’esprit la limite de 10 Mo pour chaque sitemap, mais il s’agit d’une approche permettant de gérer le problème du nombre excessif d’URL.
Voir les fichiers CNN et Googlerobots.txt pour voir plusieurs sitemaps en action.