Le taux d'exploration de Googlebot est trop lent pour un site énorme
J'ai un nouveau site web avec 140k pages, selon mes sitemaps.
Après la soumission de mon index de plan de site à Google, Googlebot a commencé à explorer le site il y a quelques heures et à un rythme soutenu, mais le processus est trop lent: environ une demande par minute.
À ce rythme, il faudra 100 jours pour que le site soit indexé! Y a-t-il un moyen d'augmenter le taux? Pourquoi toute la documentation de Google suggère-t-elle qu'il est déconseillé de modifier le taux d'analyse et que ce dernier ne fera que ralentir l'analyse?
Pour permettre à Googlebot d'explorer plus rapidement, il vous faut:
- Un serveur rapide. Plus Googlebot met moins de temps à télécharger chaque page, plus l'exploration est rapide. Ne vous inquiétez pas pour les images, css et javascript. Il suffit de servir le HTML plus rapidement. Je trouve que l'activation de la compression gzip aide. Mettez en cache et préchargez certaines des données de votre site, le cas échéant. Réduisez vos tailles de page autant que possible.
- Plus pagerank. Plus le pagerank de votre site est élevé, plus Googlebot explorera. Il renverra et analysera aussi beaucoup plus fréquemment les pages avec un pagerank supérieur.
Si vous ne disposez pas de suffisamment de pages de stockage, Google choisira probablement également de ne pas indexer une grande partie de vos pages, même une fois qu'il les aura explorées.